ThreadPoolExecutor已完成Future内存未释放问题求助

问题核心原因 #

ThreadPoolExecutor使用时，如果持续持有已完成Future对象的引用（比如存在列表/集合中未移除），或者结果数据未及时释放，会导致内存无法被GC回收，进而出现内存持续增长的情况。而普通循环脚本因为处理完数据后没有额外的引用持有，内存能正常释放。

具体解决方案 #

1. 避免长期持有Future引用

不要将所有Future对象存入一个持久列表，改用动态跟踪未完成任务的方式，处理完就移除引用：

from concurrent.futures import ThreadPoolExecutor, as_completed
import gc

def fetch_page(page):
    # 模拟下载大分页数据
    return b'x' * 1024 * 1024  # 1MB测试数据

def main():
    with ThreadPoolExecutor(max_workers=1) as executor:
        # 用生成器提交任务，避免一次性创建所有Future并存储
        future_generator = (executor.submit(fetch_page, page) for page in range(1000))
        # 用set跟踪未完成的Future，处理一个移除一个
        pending_futures = set(future_generator)
        
        while pending_futures:
            for future in as_completed(pending_futures):
                # 获取并处理结果
                data = future.result()
                # 处理数据（例如写入磁盘）
                # 立即释放结果数据的引用
                del data
                # 从集合中移除已完成的Future，解除引用
                pending_futures.remove(future)
                # 每处理10个任务手动触发一次GC（可选，加速回收）
                if len(pending_futures) % 10 == 0:
                    gc.collect()

2. 使用executor.map()替代submit+as_completed

map()方法内部会自动处理Future的生命周期，不会保存所有已完成的Future对象，内存表现更接近普通循环：

from concurrent.futures import ThreadPoolExecutor
import gc

def fetch_page(page):
    return b'x' * 1024 * 1024

def main():
    with ThreadPoolExecutor(max_workers=1) as executor:
        # 按顺序处理每个分页的结果
        for data in executor.map(fetch_page, range(1000)):
            # 处理数据（写入磁盘等）
            # 立即释放结果引用
            del data
            # 定期触发GC
            gc.collect()

3. 关键注意事项

• 优先释放结果数据：很多时候内存增长不是Future本身的问题，而是下载的大型数据集被长期持有，处理完务必用del移除引用，或避免将所有结果存入内存。
• 减少手动GC依赖：手动调用gc.collect()只是辅助手段，核心是解除Future和结果数据的引用，让Python自动GC能正常工作。

内容的提问来源于stack exchange，提问作者Ondřej Sláma