Python读取大量.pkl文件时内存占用异常问题咨询

这问题我之前做批量数据处理时碰到过类似的，结合你的场景，大概率是这几个核心原因导致内存飙升，给你拆解下并附上针对性的解决办法：

• 序列化文件大小≠内存中对象实际占用：.pkl是压缩/紧凑存储的字节流，但加载到内存后，对象本身的结构（比如元组、列表的对象头、引用，或是numpy数组这类对象的内存布局）会占用远更多空间。比如你那个8GB的pkl，加载后实际内存占用可能翻倍甚至更高，再加上旧文件的对象没被及时回收，累积起来就会突破预期。
• 隐式内存泄漏：对象引用未被彻底释放：你逐个遍历加载文件时，哪怕每次把数据赋值给同一个变量，之前的对象可能被绘图函数、全局缓存、日志记录等隐式持有引用，导致Python的垃圾回收（GC）无法回收这些闲置内存。比如绘图函数可能会保留数据副本用于交互或缓存，这部分内存没被主动清理。
• Python GC的延迟回收特性：Python的自动GC对循环引用的对象回收有延迟，尤其是当内存压力不大时，GC不会主动触发，大量小文件的闲置对象会一直占用内存，慢慢累积到惊人的规模。

1. 先确认单个大文件的实际内存占用 #

先单独加载那个8GB的.pkl文件，用专业工具查看它在内存中的真实大小，排除“文件大小≠内存占用”的问题：

import pickle
from pympler import asizeof

with open("你的大文件路径.pkl", "rb") as f:
    data = pickle.load(f)
print(f"文件大小：8GB，加载后实际内存占用：{asizeof.asizeof(data)/1024/1024/1024:.2f}GB")

如果结果远超8GB，说明是对象本身的内存特性导致的，需要针对性优化数据结构。

2. 主动释放引用+强制触发GC #

每次处理完一个文件后，手动清空变量引用并触发GC，确保闲置内存被及时回收：

import pickle
import gc

for file_path in 你的pkl文件列表:
    with open(file_path, "rb") as f:
        data = pickle.load(f)
    # 调用绘图函数处理数据
    plot_data(data)
    # 彻底清空当前数据的引用
    del data
    # 强制触发垃圾回收，释放闲置内存
    gc.collect()

注意：如果绘图函数内部保留了data的引用（比如存在全局列表里），del data也没用，得检查绘图函数代码，确保处理完后不保留不必要的引用。

3. 用更高效的序列化工具替代pickle #

对于包含numpy数组这类大对象的.pkl文件，joblib比原生pickle的内存效率更高，它会自动处理大数组的内存映射，降低加载时的内存峰值：

import joblib

with open("大文件路径.pkl", "rb") as f:
    data = joblib.load(f)

4. 清理绘图函数的内存缓存 #

很多绘图库（比如matplotlib）会缓存Figure对象或数据副本，处理完后要主动清理：

import matplotlib.pyplot as plt

def plot_data(data):
    plt.figure()
    # 你的绘图逻辑
    plt.plot(...)
    plt.savefig("输出路径.png")
    # 关闭当前图，释放内存
    plt.close()

如果用的是其他绘图库，也要确保不保留不必要的绘图对象引用。

5. 用内存分析工具定位泄漏点 #

如果以上方法都没解决，用tracemalloc定位内存占用最高的代码行，找出泄漏根源：

import tracemalloc

tracemalloc.start()

for file_path in 你的pkl文件列表:
    # 加载和处理数据的代码
    with open(file_path, "rb") as f:
        data = pickle.load(f)
    plot_data(data)
    del data
    gc.collect()
    # 生成内存快照，查看前5个内存占用最高的位置
    snapshot = tracemalloc.take_snapshot()
    top_stats = snapshot.statistics('lineno')
    print(f"处理完{file_path}后内存Top5：")
    for stat in top_stats[:5]:
        print(stat)

内容的提问来源于stack exchange，提问作者Mathieu