Tornado处理大量下载请求后内存无法释放问题求助

我来帮你拆解下这个内存占用的问题，结合你的代码和测试数据，核心原因和解决办法如下：

一、内存不释放的关键原因 #

1. 响应数据的内存缓存与GC延迟 #

你的代码里把整个1MB的分片响应（range_resp.body）一次性写入响应，这个字节串会先被Tornado缓存到内存里，直到请求完全结束才会标记为可回收。而Python的垃圾回收（GC）是分代回收机制，不会在对象刚变成垃圾时就立刻回收，需要达到一定的阈值才会触发。你等待几分钟内存没下降，大概率是GC还没触发，或者回收后的内存暂时被Python进程保留在内存池里（不会立刻还给操作系统），而不是真的内存泄漏。

2. AsyncHTTPClient的连接池与请求队列 #

你设置了max_clients=50，这意味着同时最多有50个请求去上游拉取文件，当并发超过50时，剩下的请求会被放到Tornado的内部等待队列里。这些等待的请求对象（包括HTTPRequest实例、回调函数等）会占用额外内存。当你测试到80并发时，队列里有30个等待请求，此时内存涨到一个新的台阶；后续只有并发超过80时，队列里的等待请求更多，内存才会继续上升——这完全符合队列的内存占用逻辑。

另外，你每次请求都创建AsyncHTTPClient()实例，虽然Tornado默认是单例模式，但重复创建会带来不必要的内存开销，而且Curl连接池会保留一定数量的空闲连接，这些连接也会占用内存。

二、针对性解决办法 #

1. 改用流式传输，避免一次性加载大分片 #

不要把整个分片一次性加载到内存，而是边接收上游数据边发送给客户端，这样能大幅降低内存占用。修改代码如下：

import tornado.ioloop
import tornado.web
import tornado.gen
from tornado.httpclient import AsyncHTTPClient, HTTPRequest

# 全局复用AsyncHTTPClient实例，避免重复创建
AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient", max_clients=50)
client = AsyncHTTPClient()

class MainHandler(tornado.web.RequestHandler):
    @tornado.gen.coroutine
    def get(self):
        url = "http://example.com/big_bytes_file"
        # 启用streaming_callback，边接收边发送
        request = HTTPRequest(
            url,
            headers={'Range': 'bytes=0-1048576'},
            method='GET',
            streaming_callback=self.send_chunk
        )
        self.set_header('Transfer-Encoding', 'chunked')
        yield client.fetch(request)

    def send_chunk(self, chunk):
        self.write(chunk)
        self.flush()  # 立即发送数据，减少内存缓存

def make_app():
    return tornado.web.Application([(r"/", MainHandler), ])

if __name__ == "__main__":
    app = make_app()
    app.listen(5000)
    tornado.ioloop.IOLoop.current().start()

2. 复用AsyncHTTPClient实例 #

把AsyncHTTPClient()实例改成全局的，不要在每个请求里重复创建，减少实例化带来的内存开销，同时让连接池的管理更高效。

3. 手动触发GC（仅调试用） #

如果想验证内存是否真的能被回收，可以在请求完成后手动触发GC，但不建议生产环境频繁调用，会影响性能：

import gc

class MainHandler(tornado.web.RequestHandler):
    # ... 其他代码 ...
    def on_finish(self):
        super().on_finish()
        gc.collect()  # 请求结束后手动触发垃圾回收

4. 优化连接池配置 #

调整CurlAsyncHTTPClient的连接超时参数，让空闲连接及时关闭，释放内存：

AsyncHTTPClient.configure(
    "tornado.curl_httpclient.CurlAsyncHTTPClient",
    max_clients=50,
    connect_timeout=5,
    request_timeout=10,
    keepalive_timeout=10  # 空闲连接最多保持10秒
)

三、关于内存未立刻下降的补充说明 #

Python进程的常驻内存（RSS）不会在GC回收对象后立刻下降，因为Python会把回收的内存保留在自己的内存池里，供后续请求复用。只有当进程长时间没有新的内存需求时，操作系统才会把这些空闲内存回收回去。你可以用gc.get_stats()查看GC的统计信息，确认对象是否已经被回收。

内容的提问来源于stack exchange，提问作者Student