一篇带你了解Redis删除策略

开发 前端 Redis
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

Redis删除策略

图片

过期数据在Redis中所有设置了TTL的数据可能不会立即删除,Redis会将该键带上过期时间存放到内存中的一个Expires字典中。

当执行TTL命令后会返回其状态

  1. redis 127.0.0.1:6379> TTL key 
  2.  
  3. -2: Key已经过期、被删除、未定义 
  4.  
  5. -1: 永久有效 
  6.  
  7. XX: XX为 key 的剩余生存时间,以秒为单位 

这里的已过期数据,真的删除了吗?

数据删除策略

前面说到当存储一个key之后,这个key连同有效期被存储到Expires字典中,具体什么时候删除的呢?

通常删除某个key,我们有如下三种处理方式:

  • 定时删除
  • 惰性删除
  • 定期删除

1. 定时删除

创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作

优点:节省内存,到时就删除,快速释放掉不必要的内存空间

缺点:CPU压力大,无论此时CPU过载有多高,都会占用CPU,会影响Redis服务器的响应时间和吞吐量

总结:用处理器性能换取内存空间(时间换空间)

2. 惰性删除

数据到达过期时间后,不做处理。等下次访问时,

  • 如果未过期,返回数据
  • 如果已过期,删除并返回不存在

优点:节约CPU性能,发现必须删除时才删除

缺点:内存压力大,出现长期占用内存空间的数据

总结:用内存空间换取CPU处理性能(空间换时间)

3. 定期删除

定时删除和惰性删除都太极端了,定期删除就是一个比较好的折中方案

周期性的轮询Redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

特点:

  • CPU占用设置有峰值,检测频度可以自定义
  • 内存压力不是很大,长期占用内存的冷数据会被持续清理

总结:周期性抽查存储空间(随机抽查,重点抽查)

定期删除,Redis服务器启动初始化时,读取配置server.hz的值,默认为10

每秒执行server.hz次serverCorn()->databaseCorn()->activeExpireCycle()

其中activeExpireCycle()对每个Expires[*]逐一检测,每次执行时间为250ms/server.hz

对某个Expires[*]检测时,随机挑选几个key检测:

  • 如果key超时,删除key
  • 如果一轮中删除key的数量>W*25%,循环该过程(重点抽查)
  • 如果一轮中删除key的数量
  • 其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP的属性值

4. 删除策略对比

逐出算法

1. 新数据进入检测

当新数据进入Redis时,内存不足怎么办?

Redis使用内存存储数据,在执行每一个命令前,会调用freeMermoryIfNeeded()检测内存是否充足。如果内存不满足新加入的数据的最低存储要求,Redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略成为逐出算法(内存淘汰策略)

注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功会反复执行。当前所有数据尝试执行完毕后,如果不能达到内存清理的要求,将出现错误信息。

  1. (error) OOM command not allowed when used memory >'maxmemory' 

2. 逐出算法配置

  • 最大可用内存
  1. maxmermory 
  2.  说明:占用物理内存的比例。默认值是0,标识不限制。生产上根据需要设置,一般在50%以上 
  • 每次选取待删除的个数
  1. maxmermroy-samples 
  2.  说明:选取待删除的数据时,如果扫描全库,会严重消耗性能,降低读写性能。因为采用随机获取数据的方式作为待检测删除数据 
  • 删除策略
  1. maxmermory-policy 
  2.  说明:达到最大内存后,对被挑选出来的数据进行删除的策略 

3. 逐出算法

如果Redis配置了maxmemory和maxmemory-policy策略,则当Redis内存数据达到maxmemory时,会根据maxmemory-policy配置来淘汰内存数据,以避免OOM。

根据maxmemory-policy的配置项,执行删除策略时分为两大类:易失数据(设置过期时间的数据)、永久数据。Redis默认值为volatile-lru.

检测易失数据(会过期的数据集server.db[i].expries)

  • volatile-lru:挑选最近最少使用的数据淘汰
  • volatile-lfu:挑选最近使用次数最少的数据淘汰
  • volatile-random:任意选择数据淘汰
  • volatile-ttl:挑选即将过期的数据淘汰

检测全库数据(所有数据集server.db[i].dict)

  • allkeys-lru:挑选最近最少使用的数据淘汰
  • allkeys-lfu:挑选最近使用次数最少的数据淘汰
  • allkeys-random:任意选择数据淘汰

放弃数据淘汰

  • no-enviction:禁止数据淘汰,会引发OOM(Out Of Memroy)。Redis4.0默认策略

 

LRU和LFU算法示例

4. 数据逐出策略配置依据

使用info命令数据监控信息,查询缓存hit和miss次数,根据业务需要配置逐出算法。

本文转载自微信公众号「Java养基场」,可以通过以下二维码关注。转载本文请联系Java养基场公众号。

 

责任编辑:姜华 来源: Java养基场
相关推荐

2021-05-20 06:57:16

RabbitMQ开源消息

2021-06-30 00:20:12

Hangfire.NET平台

2021-07-28 10:02:54

建造者模式代码

2023-05-12 08:19:12

Netty程序框架

2021-07-14 08:24:23

TCPIP 通信协议

2021-08-11 07:02:21

npm包管理器工具

2021-11-24 08:51:32

Node.js监听函数

2021-11-08 08:42:44

CentOS Supervisor运维

2021-12-15 11:52:34

GPLLinuxGNU

2021-07-08 06:30:03

Linux CPULinux 系统

2021-01-29 18:41:16

JavaScript函数语法

2021-08-14 10:01:43

Python条件语句Python基础

2020-11-10 10:48:10

JavaScript属性对象

2021-02-02 18:39:05

JavaScript

2021-08-26 05:27:08

Base64 字节流算法

2021-06-04 09:56:01

JavaScript 前端switch

2022-02-23 09:36:11

GoRuby编程语言

2022-02-17 08:35:59

OLTPOLAP数据仓库

2022-11-10 16:55:41

ReactFiber

2024-01-30 13:47:45

点赞
收藏

51CTO技术栈公众号