Redis 大 Key 是指存储在 Redis 中的键值对,其中键对应的 value 占用了较大的内存空间,或者包含了大量的元素。例如,一个存储了数百万个元素的集合(Set)类型的键,或者一个存储了一个很大的字符串(长度可能达到几十 MB 甚至更大)的键都被认为是大 Key。
Redis 大 Key 并没有统一的固定标准,当字符串存储了一个很大的值,例如 10M 以上,或集合存储了一个上百万元素的值,那就认为是 Redis 的大 Key 问题了。
1.主要影响
大 Key 问题造成的主要问题是让 Redis 服务阻塞,无法处理其他命令的响应(客户端可能因此出现请求超时的问题)。因为对大 Key 进行读写操作时,由于需要处理大量的数据,这些操作可能会非常耗时,这就会导致 Redis 主线程被阻塞,无法及时处理其他客户端的请求。
2.常见场景
大 Key 的常见场景有以下几个:
- 缓存大数据(图片和视频元数据):在缓存场景中,可能会将大型的文件内容(如图片、视频元数据)缓存到 Redis 中。例如,一个视频分享网站可能会将视频的详细描述、标签、点赞数、评论数等信息以 JSON 字符串的形式缓存为一个大 Key,方便快速获取视频相关的所有数据。
- 明星或网红粉丝列表:如果使用 ZSet 来存储粉丝和关注列表的话,如果是某些明星或网红的粉丝列表将会很大,可能存储元素超千万甚至是亿级别。
- 商品页所有信息:在电商应用中,可能需要将商品信息,如商品 ID、名称、描述、价格、库存、图片、评价等都缓存到 Redis 中的话,当商品详情和评价(几十上百万条评价)比较多时,这个 Key 就可能变得非常大。
3.排查大Key问题
排查大 Key 的方案有以下几个。
(1)BIGKEYS
Redis 自带的 BIGKEYS 命令可以查询当前 Redis 中所有 key 的信息,对整个数据库中的键值对大小情况进行统计分析。它会查出每种数据结构的最大 Key,但不能根据某个容量进行筛查。比如说,统计每种数据类型的键值对个数以及平均大小,如下图所示:
(2)MEMORY USAGE
Redis 4.0+ 后推出了 MEMORY USAGE 命令,该命令可以返回指定 key 的内存使用情况,返回使用的内存的字节数。通过遍历所有的 key 并使用此命令,可以找出占用内存较大的 key。但需要注意的是,对于复杂数据结构(如 List、Set 等),MEMORY USAGE 命令返回的是近似值,因为它采用抽样方式来估算内存使用,如下图所示:
(3)OBJECT
OBJECT encoding可以查看键值对象的编码类型,不同的编码类型可能暗示了键值的复杂程度和大小。例如,如果一个字符串类型的键采用了 raw 编码且长度很长,那么它可能是一个大 Key,如下图所示:
4.解决大Key问题
大 Key 的解决方案有以下几个。
(1)拆分大Key
将大 Key 拆分成多个小 Key,分别存储不同部分的数据。这样可以减少单个 Key 的内存占用,提高查询性能,拆分的常用方法有以下几个:
- 按业务逻辑拆分:如果大 Key 是一个包含大量聚合数据的键,可以根据业务逻辑将其拆分为多个小的键。例如,对于一个包含全品类商品销售数据的大 Key,可以按照品类拆分为多个小的键,每个键只存储一个品类的销售数据。
- 按时间范围拆分:对于存储时间序列数据的大 Key,如日志数据或统计数据,可以按照时间范围进行拆分。比如,将一天的日志数据拆分为每小时一个键,这样可以更灵活地管理和删除过期数据。
(2)使用压缩算法
对于可以压缩的数据类型(如字符串),可以使用压缩算法(如 LZF 等)来减少内存占用。Redis 本身支持一些压缩算法,可以在一定程度上减少大 Key 的内存占用。
4.3 使用合适的数据结构和存储方式
- 考虑使用其他存储系统:如果数据实在太大且不适合存储在 Redis 中,可以考虑将部分数据转移到其他存储系统,如将大型文件存储到分布式文件系统(如 MinIO、Ceph 等),只在 Redis 中保留文件的元数据或引用。
- 优化 Redis 数据结构选择:根据数据的访问模式和特性,选择更合适的 Redis 数据结构。例如,如果一个集合类型的大 Key 主要用于判断元素是否存在,可以考虑使用布谷鸟哈希(Cuckoo Hash)等空间效率更高的数据结构替代传统的集合结构。
(4)设置合理的过期时间
如果大 Key 中的数据不是一直需要的,可以设置过期时间,让 Redis 在一定时间后自动删除该 Key。这样可以避免大 Key 长期占用内存,导致内存泄漏。
(5)加强监控和管理
建立对 Redis 的监控系统,实时监测大 Key 的出现和内存使用情况。当发现大 Key 或者内存占用过高时,及时发出预警,以便采取相应的措施进行处理。如 Redis Insights、Prometheus 等,设置对大 key 和内存使用的监控指标。
注意事项:大Key删除
删除大 Key 时要注意,要使用 UNLINK 命令代替 DEL 命令来删除大 Key。UNLINK 命令会立即返回,后台异步删除数据,避免阻塞,如下图所示:
小结
Redis 大 Key 问题会让 Redis 服务阻塞,无法响应其他命令,可能会导致客户端响应超时等问题。排查大 Key 问题可以使用 BIGKEYS、MEMORY USAGE、OBJECT 等命令。它的解决方案有:拆分大 Key、压缩数据、使用合适数据结构和存储方式、设置合理过期时间,以及加强监控和管理等手段。