妙手回春：内存泄漏诊断案例分析

[[403536]]

本文转载自微信公众号「小菜学编程」，作者fasionchan。转载本文请联系小菜学编程公众号。

虽然 Python 自带垃圾回收机制，替开发人员管理内存，并不意味着 Python 程序没有内存泄露之虞。实际上，Python 程序内存泄露问题时有发生——程序跑着跑着，占用内存越来越多，最后只能动用重启大法释放内存……

由于内存分配回收工作已被 Python 接管，内存泄露问题排查起来相对来说也比较晦涩。正常情况下，引用计数 机制确保对象没有引用时释放，而 标记清除 则解决了 循环引用 的问题，理论上不存在内存泄露的可能性。

那么，Python 程序内存泄露问题一般是如何造成的呢?程序员的失误是其中的主要原因，最常见的是下面两点：

• 容器泄露 ，使用容器对象存储数据，但数据只进不出，没有清理机制，容器便慢慢变大，最后撑爆内存;
• __del__ 魔术方法误用，如果对象实现了 __del__ 魔术方法，Python 就无法用标记清除法解决循环引用问题，这必然带来内存泄露风险;

既然内存泄露无法完全避免，当 Python 程序发生内存泄漏时，又该如何排查呢?

本节，我们将以一个简单的案例，详细讲解预防、排查、解决 Python 内存泄露问题的 方法论 。

工欲善其事，必先利其器。在这个过程中，我们将利用一些趁手的工具(例如 objgraph 等)。只有选择正确工具，掌握工具正确使用姿势，才能做到事半功倍。

问题服务

我们以一个存在内存泄露问题的 API 服务( service.py )作为例子，演示定位内存泄露问题的步骤：

import uvicorn 
 
from fastapi import FastAPI 
from faker import Faker 
 
from pyconsole import start_console_server 
 
faker = Faker() 
cache = {} 
 
app = FastAPI() 
 
async def fetch_user_from_database(user_id): 
    return { 
        'user_id': faker.sha256() if user_id == 'random' else user_id, 
        'name': faker.name(), 
        'email': faker.email(), 
        'address': faker.address(), 
        'desc': faker.text(), 
    } 
 
async def get_user(user_id): 
    data = cache.get(user_id) 
    if data is not None: 
        return data 
 
    data = await fetch_user_from_database(user_id) 
    cache[data['user_id']] = data 
 
    return data 
 
@app.get('/users/{user_id}') 
async def retrieve_user(user_id): 
    return await get_user(user_id) 
 
if __name__ == '__main__': 
    start_console_server() 
    uvicorn.run(app) 

这是一个基于 fastapi 框架编写的 API 服务，它只实现了一个接口：根据用户 ID 获取用户信息。API 服务由 uvicorn 启动，它是一个性能非常优秀的 ASGI 服务器。

为减少数据库访问频率，程序将数据库返回的用户数据，以用户 ID 为索引，缓存在内存中( cache 字典)。注意到，演示服务直接使用 faker 随机生成用户数据，模拟数据库查询，以此消除数据库依赖。

顺便提一下，faker 是一个生成假数据的模块，非常好用。特别是需要测试数据时，完全不用自己绞尽脑汁拼造。

服务还启动了一个远程交互式终端，以便我们可以连上服务进程，并在里面执行一些代码。交互式终端的源码可以在 github 上获得：pyconsole.py ，原理超过本节讨论范围不展开介绍。

由于例子代码非常简单，哪里内存泄露我们甚至仅凭肉眼便可看出。尽管如此，我们假装什么都不知道，来研究解决问题的思路：如何观察程序?如何运用工具来获取一些关键信息?如何分析各个线索?如何逐步接近问题的根源?

运行服务

由于服务依赖几个第三方包，启动它之前请先用 pip 安装这些依赖包，并且确保安装是成功的：

$ pip install uvicorn 
$ pip install fastapi 
$ pip install faker 

直接执行 service.py 即可启动服务，默认它会监听 8000 端口：

$ python service.py 
INFO:     Started server process [76591] 
INFO:     Waiting for application startup. 
INFO:     Application startup complete. 
INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit) 

服务启动后，即可通过 8000 端口访问用户信息接口，用户 ID 可以随便给：

$ curl http://127.0.0.1:8000/users/bef76936c7d22e98f3d7b4c7e1aeef524da4ec1b48f871926fee43c5ec071a2d 
{"user_id":"bef76936c7d22e98f3d7b4c7e1aeef524da4ec1b48f871926fee43c5ec071a2d","name":"Patricia Johnson","email":"epatton@yahoo.com","address":"837 Jacobs Field\nGregorybury, ND 81050","desc":"Third choice air together expect account war. Seven dog safe significant. Expect exist wrong finish window there raise. Third blue and cover."} 

服务接口还支持随机查询，随机返回一个用户的信息：

$ curl http://127.0.0.1:8000/users/random 
{"user_id":"d6a55f04bab8ddec83d651bdca77f7215042b792970482213b6da56a119f18a8","name":"Evan Carter","email":"andrea79@garcia.com","address":"109 Miller Lights Apt. 843\nPort Jamie, IN 97570","desc":"Resource green allow him. Build store enough effect alone. Everybody right remember public coach book not.\nConference respond trip girl."} 

远程终端

我们直接执行 pyconsole.py ，以默认端口即可连接正在运行中的 API 服务进程：

$ python pyconsole.py 
Python 3.8.5 (default, Aug  5 2020, 18:49:57) 
[GCC 5.4.0 20160609] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
(ConsoleClient) 
>>> 

pyconsole 用法跟 Python 交互式终端一样，但代码执行环境是在被连接的服务进程里面，因此可以看到服务内部的实时状态。我们先通过 dir 内建函数看看远程终端的名字空间都有些啥：

>>> dir() 
['__builtins__', '__doc__', '__name__', 'main', 'sys'] 
>>> main 
<module '__main__' from 'service.py'> 
>>> dir(main) 
['Faker', 'FastAPI', '__annotations__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'app', 'cache', 'faker', 'fetch_user_from_database', 'get_user', 'retrieve_user', 'start_console_server', 'uvicorn'] 

main 就是服务的 main 模块，从中还可以找到 service.py 导入的 Faker 、FastAPI 等，它定义的函数 retrieve_user 、get_user 等，还有作为全局变量存在的 cache 字典。甚至，我们还可以看到 cache 当前缓存了多少用户信息：

>>> len(main.cache) 
2 

由于我们前面通过 API 获取了 2 条用户数据，因此 cache 当前缓存了 2 条数据。当我们再次访问接口获取其他用户数据时，我们会看到 cache 缓存的用户数据会慢慢增加：

>>> len(main.cache) 
3 

pyconsole 是一个很神奇的终端，能够实时查看 Python 进程里面各种数据的状态，在排查问题时非常方便!