Redis学习[5] ——Redis过期删除和内存淘汰

六、Redis过期键值删除

6.1 Redis的过期键值删除策略

6.1.1 什么是过期键值删除？

Redis中是可以对key设置过期时间的，所以需要有相应的机制将已过期的键值对删除，也就是**过期键值删除策略。Redis会用一个过期字典（expires dict）**来存储有过期时间的所有key。当查询一个key时，Redis会首先会检查这个key是否存在于过期字典中：

• 不存在，则正常读取键值；
• 存在，那需要首先获取这个key的过期时间，如果已经过期，则不会获得值；

至于具体去删除这个过期的key，Redis采用了「惰性删除+定期删除」两种策略配合使用。

6.1.2 什么是惰性删除策略？

惰性删除策略：不主动删除过期键，每当从数据库访问key时，如果检测到这个key过期了，则删除这个key。

优点：只有在访问时才会检测，消耗很少的系统资源，对CPU时间友好。

缺点：如果一个过期的key一直没有被访问，那么会始终最早数据库内，造成内存空间浪费，对内存不友好。

6.1.3 什么是定期删除策略？

定期删除策略：每隔一段时间**「随机」从过期字典中取出一定数量的 key 进行检查，并删除其中的过期key。**

具体流程：

1. 从过期字典中随机选取20个key；
2. 检查这20个key是否过期，删除已过期的key；
3. 如果本轮检查的「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%，则继续重复步骤 1；否则，停止本次删除流程。

可以看到，定期删除是一个循环的流程。那 Redis 为了保证定期删除不会出现循环过度，导致线程卡死现象，为此增加了定期删除循环流程的时间上限，默认不会超过 25ms。

优点：可以限制删除执行的时长和频率，能够同时减少对CPU的影响和减少空间占用；

缺点：难以确定删除操作执行的时长和频率，执行的太频繁对CPU不友好，执行的太少对内存不友好。

可以看到，惰性删除策略和定期删除策略都有各自的优点，所以 Redis 选择「惰性删除+定期删除」这两种策略配和使用，以求在合理使用 CPU 时间和避免内存浪费之间取得平衡。

6.2 Redis持久化时，对过期键是如何处理的？

6.2.1 AOF日志

• AOF写入阶段：当Redis以AOF模式持久化时，如果数据库内某个键值过期还没有删除，AOF仍然会保留此键值，等过期键值被删除后，Redis会向AOF文件追加一条DEL命令来显式地删除该键值。
• AOF重写阶段：Redis执行AOF重写时，会对键值进行检查，过期的键值不再写入重写后的AOF文件中。

6.2.2 RDB快照

• RDB文件生成阶段：将内存中的数据持久化为RDB文件时，会对key进行过期检查，过期的键值不会保存到RDB文件中。

• RDB文件加载阶段：RDB加载阶段，需要看服务器是主服务器还是从服务器

  • 主服务器：在载入 RDB 文件时，会对文件中保存的key进行检查，过期键「不会」被载入到数据库中。
  • 从服务器：不进行过期检查，不论key是否过期，键值都会被载入到数据库中。

  因为从服务器每次通过RDB数据同步时，从服务器都清空本身的所有数据，安装RDB文件的，所以下次就会删掉了，可以不用单独消耗时间来检查。

6.3 Redis主从模式中，对过期键是如何处理的？

Redis运行在主从模式下时，从服务器不会主动去处理过期键。即使从库中的 key 过期了，如果有客户端访问从库时，依然可以得到 key 对应的值，像未过期的键值对一样返回。

从服务器对过期键的处理依赖于主服务器，当主服务器删除某个过期键时，在AOF文件中增加一条命令。同步到所有的从服务器中，从服务器执行相应的命令来删除过期键值。

七、Redis内存淘汰

7.1 Redis运行在内存中，若Redis的内存满了，会发生什么？

Redis的运行内存如果达到了某个阈值，会触发**内存淘汰机制**，这个内存就是用户设置的最大运行内存。Redis提供了多种内存淘汰策略，根据不同的策略来将部分内进行淘汰。

7.2 Redis有哪些内存淘汰策略？

Redis 内存淘汰策略共有八种，这八种策略大体分为**「不进行数据淘汰」和「进行数据淘汰」**两类策略。

7.2.1 不进行内存淘汰

noeviction（Redis3.0之后，默认的内存淘汰策略） ：它表示当运行内存超过最大设置内存时，不淘汰任何数据，而是不再提供服务，直接返回错误。

7.2.2 进行内存淘汰

针对「进行数据淘汰」这一类策略，又可以细分为**「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰**」这两类策略。

• 在设置了过期时间的数据中进行淘汰：
  • volatile-random：随机淘汰设置了过期时间的任意键值；
  • volatile-lru：淘汰所有设置了过期时间的键值中，最久未使用的键值；
  • volatile-lfu：淘汰所有设置了过期时间的键值中，最少使用的键值；
• 在所有数据范围内进行淘汰：
  • allkeys-random：随机淘汰任意键值;
  • allkeys-lru：淘汰整个键值中最久未使用的键值；
  • allkeys-lfu：淘汰整个键值中最少使用的键值；

7.2.3 LRU算法：最近最少使用淘汰策略

传统 LRU 算法的实现是基于「链表」结构，链表中的元素按照操作顺序从前往后排列，最新操作的键会被移动到表头，当需要内存淘汰时，只需要删除链表尾部的元素即可，因为链表尾部的元素就代表最久未被使用的元素。

Redis 并没有使用这样的方式实现 LRU 算法，因为传统的 LRU 算法存在两个问题：

• 需要用链表管理所有的缓存数据，这会带来额外的空间开销；
• 当有数据被访问时，需要在链表上把该数据移动到头端，如果有大量数据被访问，就会带来很多链表移动操作，会很耗时，进而会降低 Redis 缓存性能。

Redis实现LRU算法的方式？

Redis 实现的是一种近似 LRU 算法，目的是为了更好的节约内存，它的**实现方式是在 Redis 的对象结构体中添加一个额外的字段，用于记录此数据的最后一次访问时间**。

当 Redis 进行内存淘汰时，会使用**随机采样的方式来淘汰数据，它是随机取 5 个值（此值可配置），然后淘汰最久没有使用的那个**。

但是 LRU 算法有一个问题，无法解决缓存污染问题，比如应用一次读取了大量的数据，而这些数据只会被读取这一次，那么这些数据会留存在 Redis 缓存中很长一段时间，造成缓存污染

7.2.4 LFU算法：最近最不常用淘汰策略

LFU 算法会记录每个数据的访问次数。当一个数据被再次访问时，就会增加该数据的访问次数。这样就解决了偶尔被访问一次之后，数据留存在缓存中很长一段时间的问题，相比于 LRU 算法也更合理一些。

Redis实现LFU算法的方式？

LFU 算法相比于 LRU 算法的实现，多记录了**「数据的访问频次」**的信息。

typedef struct redisObject {...// 24 bits，用于记录对象的访问信息（在LRU中只是记录访问时间，LFU中高位16bit记录访问时间 + 低位8bit记录访问频次）unsigned lru:24;  ...
} robj;

在 LFU 算法中，Redis对象头的 24 bits 的 lru 字段被分成两段来存储，高 16bit 存储 ldt(Last Decrement Time)，用来记录 key 的访问时间戳；低 8bit 存储 logc(Logistic Counter)，用来记录 key 的访问频次。

资料参考

内容大多参考自自：图解Redis介绍 | 小林coding (xiaolincoding.com)