缓存雪崩,缓存穿透,缓存击穿出现的原因及解决方案?

存储
假设有如下一个系统,高峰期请求为5000次/秒,4000次走了缓存,只有1000次落到了数据库上,数据库每秒1000的并发是一个正常的指标,完全可以正常工作,但如果缓存宕机了,或者缓存设置了相同的过期时间,导致缓存在同一时刻同时失效,每秒5000次的请求会全部落到数据库上,数据库立马就死掉了,因为数据库一秒最多抗2000个请求,如果DBA重启数据库,立马又会被新的请求打死了,这就是缓存雪崩。

 [[317484]]

缓存雪崩

出现过程

假设有如下一个系统,高峰期请求为5000次/秒,4000次走了缓存,只有1000次落到了数据库上,数据库每秒1000的并发是一个正常的指标,完全可以正常工作,但如果缓存宕机了,或者缓存设置了相同的过期时间,导致缓存在同一时刻同时失效,每秒5000次的请求会全部落到数据库上,数据库立马就死掉了,因为数据库一秒最多抗2000个请求,如果DBA重启数据库,立马又会被新的请求打死了,这就是缓存雪崩。

 

 

 

 

 

解决方法

  1. 事前:redis高可用,主从+哨兵,redis cluster,避免全盘崩溃
  2. 事中:本地ehcache缓存 + hystrix限流&降级,避免MySQL被打死
  3. 事后:redis持久化RDB+AOF,快速恢复缓存数据
  4. 缓存的失效时间设置为随机值,避免同时失效

缓存穿透

出现过程

假如客户端每秒发送5000个请求,其中4000个为黑客的恶意攻击,即在数据库中也查不到。举个例子,用户id为正数,黑客构造的用户id为负数,如果黑客每秒一直发送这4000个请求,缓存就不起作用,数据库也很快被打死。

 

 

 

 

 

解决方法

  1. 对请求参数进行校验,不合理直接返回
  2. 查询不到的数据也放到缓存,value为空,如 set -999 ""
  3. 使用布隆过滤器,快速判断key是否在数据库中存在,不存在直接返回

缓存击穿

出现过程

设置了过期时间的key,承载着高并发,是一种热点数据。从这个key过期到重新从MySQL加载数据放到缓存的一段时间,大量的请求有可能把数据库打死。缓存雪崩是指大量缓存失效,缓存击穿是指热点数据的缓存失效

解决方法

  1. 设置key永远不过期,或者快过期时,通过另一个异步线程重新设置key
  2. 当从缓存拿到的数据为null,重新从数据库加载数据的过程上锁,下面写个分布式锁实现的demo

Redis实现分布式锁

我之前的文章写到了Redis实现分布式锁的原理,这里就不再详细概述了

在Redis中使用简单强大的Lua脚本

1.加锁执行命令

 

SET resource_name random_value NX PX 30000 
  • 1.

2.解锁执行脚本

 

if redis.call("get", KEYS[1]) == ARGV[1] then  
    return redis.call("del", KEYS[1])  
else  
    return 0  
end 
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.

写一个分布式锁工具类

 

public class LockUtil { 
 
    private static final String OK = "OK"
    private static final Long LONG_ONE = 1L; 
    private static final String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end"
 
    public static boolean tryLock(String key, String value, long expire) { 
        Jedis jedis = RedisPool.getJedis(); 
        SetParams setParams = new SetParams(); 
        setParams.nx().px(expire); 
        return OK.equals(jedis.set(key, value, setParams)); 
    } 
 
    public static boolean releaseLock(String key, String value) { 
        Jedis jedis = RedisPool.getJedis(); 
        return LONG_ONE.equals(jedis.eval(script, 1, key, value)); 
    } 

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.

工具类写起来还是挺简单的

示例代码

 

public String getData(String key) { 
    String lockKey = "key"
    String lockValue = String.valueOf(System.currentTimeMillis()); 
    long expireTime = 1000L; 
    String value = getFromRedis(key); 
    if (value == null) { 
        if (LockUtil.tryLock(lockKey, lockValue, expireTime)) { 
            // 从数据库取值并放到redis中 
            LockUtil.releaseLock(lockKey, lockValue); 
        } else { 
            // sleep一段时间再从缓存中拿 
            Thread.sleep(100); 
            getFromRedis(key); 
        } 
    } 
    return value; 

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.

 

责任编辑:武晓燕 来源: Java识堂
相关推荐

2023-11-10 14:58:03

2023-03-10 13:33:00

缓存穿透缓存击穿缓存雪崩

2019-10-12 14:19:05

Redis数据库缓存

2022-03-08 00:07:51

缓存雪崩数据库

2019-11-05 14:24:31

缓存雪崩框架

2021-06-05 09:01:01

Redis缓存雪崩缓存穿透

2020-03-16 14:57:24

Redis面试雪崩

2022-05-27 07:57:20

缓存穿透缓存雪崩缓存击穿

2022-11-18 14:34:28

2023-04-14 07:34:19

2023-10-13 08:11:22

2024-03-12 10:44:42

2021-12-25 22:28:27

缓存穿透缓存击穿缓存雪崩

2023-12-06 13:38:00

Redis缓存穿透缓存击穿

2020-10-13 07:44:40

缓存雪崩 穿透

2020-10-23 10:46:03

缓存雪崩击穿

2022-07-11 07:36:36

缓存缓存雪崩缓存击穿

2020-12-28 12:37:36

缓存击穿穿透

2023-01-18 07:48:32

缓存穿透缓存击穿redis

2024-07-12 08:48:50

点赞
收藏

51CTO技术栈公众号