一日一技:实现有过期时间的LRU缓存

存储
现在我们考虑下面这个应用场景:MongoDB中有100对id-用户名的对应关系,我从Redis中持续不断读取id,如果id能在MongoDB中找到对应关系,那么就把对应的用户名打印出来。如果找不到对应关系,那么就把这个id丢弃。

 [[413316]]

在一日一技:实现函数调用结果的 LRU 缓存一文中,我们提到Python自带的LRU缓存lru_cache。通过这个装饰器可以非常轻松地实现缓存。

现在我们考虑下面这个应用场景:MongoDB中有100对id-用户名的对应关系,我从Redis中持续不断读取id,如果id能在MongoDB中找到对应关系,那么就把对应的用户名打印出来。如果找不到对应关系,那么就把这个id丢弃。

为了防止频繁读取MongoDB,我在程序开始的时候直接读取这一百对对应关系,并存为字典:

  1. import pymongo 
  2. import redis 
  3.  
  4. client = redis.Redis() 
  5. handler = pymongo.MongoClient().weibo.id_name_map 
  6.  
  7.  
  8. def read_id_name_map(): 
  9.     id_name = {} 
  10.     for row in handler.find(): 
  11.         id_name[row['id']] = row['name'
  12.     return id_name 
  13.  
  14.  
  15. id_name_map = read_id_name_map() 
  16. while True
  17.     data = client.blpop('weibo_id'
  18.     user_id = data[1].decode() 
  19.     if user_id in id_name_map: 
  20.         print(id_name_map[user_id]) 

大家可以思考一下,上面这段代码有没有什么问题。然后继续看后面。

如果我现在需要再增加100个id-用户名的对应关系怎么办?

由于这个程序运行以后就一直阻塞式地读取Redis,不会停止,所以整个过程只会读取一次MongoDB。后面即使我向MongoDB中添加了新的对应关系,只要程序不重启,就无法读取到新的对应关系。

肯定有同学想到,在while循环里面增加一个计时器,每x分钟就重新调用一下read_id_name_map()函数,更新对应关系。

不过今天我们要讲的是另一个更有创意的办法,使用lru_cache来实现。

对于这个例子来说,lru_cache的maxsize参数只需要设置为1,因为只需要存放1份对应关系即可。那么我们如何做到,比如每10分钟更新一次呢?我们知道,在使用lru_cache时,如果调用同一个函数,并且传入的参数相同,那么从第二次开始就会使用缓存。现在我们如何让时间在每10分钟内相同呢?

我们来看现在的时间戳:1578399211.30042

它除以600,值是1578399211.30042 // 600 = 2630665.0。然后我让这个时间戳加5分钟,也就是增加300秒,变成1578399511.30042。这个新的时间戳再除以600,发现结果还是2630665.0。但如果原来的时间戳增加超过10分钟,例如增加了601秒,我们再来看看效果(1578399211.30042 + 601) // 600 = 2630666.0,此时的结果也发生了变化。

利用这个特点,修改一下我们的代码:

  1. import pymongo 
  2. import redis 
  3. import time 
  4. from functools import lru_cache 
  5.  
  6. client = redis.Redis() 
  7. handler = pymongo.MongoClient().weibo.id_name_map 
  8.  
  9.  
  10. @lru_cache(maxsize=1) 
  11. def read_id_name_map(_): 
  12.     id_name = {} 
  13.     for row in handler.find(): 
  14.         id_name[row['id']] = row['name'
  15.     return id_name 
  16.  
  17.  
  18. while True
  19.     data = client.blpop('weibo_id'
  20.     id_name_map = read_id_name_map(time.time() // 600) 
  21.     user_id = data[1].decode() 
  22.     if user_id in id_name_map: 
  23.         print(id_name_map[user_id]) 

现在,我们直接在while循环内部调用read_id_name_map,如果两次调用的时间间隔小于600秒,那么time.time() // 600的值是相同的,第二次直接使用缓存,也就不会查询MongoDB了。当时间超过10分钟后,时间戳除以600的值增加了,于是缓存没有命中,进入查询MongoDB的过程,更新id_name_map。实现了有过期时间的LRU缓存。

补充:可能有同学注意到定义read_id_name_map函数的时候,参数我写的是下划线。这是Python 编码规范中建议的一种写法。当一个变量不会被使用,但又需要保留时,就可以用下划线表示。

本文转载自微信公众号「未闻Code」,可以通过以下二维码关注。转载本文请联系未闻Code公众号。

 

责任编辑:武晓燕 来源: 未闻Code
相关推荐

2021-12-28 21:43:51

缓存搜索频率

2022-06-28 09:31:44

LinuxmacOS系统

2021-02-22 09:23:55

LRU时间HashMap

2021-09-13 20:38:47

Python链式调用

2021-03-12 21:19:15

Python链式调用

2021-04-27 22:15:02

Selenium浏览器爬虫

2021-07-27 21:32:57

Python 延迟调用

2021-10-15 21:08:31

PandasExcel对象

2024-10-16 21:47:15

2021-04-05 14:47:55

Python多线程事件监控

2022-03-12 20:38:14

网页Python测试

2021-04-12 21:19:01

PythonMakefile项目

2020-07-30 07:52:13

JavaLRU算法

2021-01-22 05:47:21

Python关键字函数

2023-10-28 12:14:35

爬虫JavaScriptObject

2024-07-30 08:11:16

2021-04-19 23:29:44

MakefilemacOSLinux

2024-07-30 08:16:18

Python代码工具

2021-10-03 20:08:29

HTTP2Scrapy

2021-05-08 19:33:51

移除字符零宽
点赞
收藏

51CTO技术栈公众号