pandas GroupBy循环计算内存持续增长回收无效问题求助
大规模DataFrame循环groupby计算时虚拟内存持续升高的问题
核心现象
- 对大尺寸DataFrame执行循环计算时,每轮循环虚拟内存持续上涨,最终会耗尽系统内存
- 已尝试的排查手段均未生效:手动触发垃圾回收、调整gc模块阈值、使用pympler/objgraph定位对象引用,都没有找到内存泄漏点
- 复现条件:8GB运行内存、7GB左右页面文件的环境下,仅运行数次迭代就会触发内存耗尽,每轮循环稳定带来约540MB的虚拟内存增长
- 后续对照测试确认:将groupby计算替换为普通变量赋值后内存无累积,问题源头锁定在groupby相关计算流程;即便在函数内部删除所有临时变量、显式调用
gc.collect(),内存累积的问题也没有改善。
最小可复现代码
初始复现脚本
import pandas as pd import numpy as np import time import psutil import os def some_operations(data): data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() return data1 if __name__ == "__main__": data = pd.DataFrame(np.random.random((7000000, 13))) data[0] = data[0] > 0.5 for j in range(500): tack = time.time() very_important_variable = some_operations(data) p = psutil.Process(os.getpid()) memory_use = p.memory_info().vms / 1024 ** 2 tick = time.time() print(f"Iteration: {j}, took {tick - tack:.2f} seconds and {memory_use/1000:.2f} GB of memory")
验证内存释放的修改版函数
def some_operations(data): data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data2 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data3 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data4 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() data5 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max() result = data1 + data2 + data3 + data4 + data5 del data1, data2, data3, data4, data5 gc.collect() return result
问题根因
内存累积并非Python层面的对象引用未释放,核心来自两层底层行为:
- pandas/numpy的向量化计算依赖原生C层内存分配器,大尺寸groupby/rolling计算申请的连续大块内存,不受Python解释器垃圾回收器的直接管控
- Linux环境默认使用的glibc自带ptmalloc分配器,在释放大块高地址内存时,不会主动将这部分内存归还给操作系统,而是将其保留在进程的虚拟内存映射中供后续计算复用,因此psutil监控的VMS(虚拟内存)数值会持续升高
- 旧版本pandas存在groupby分组缓存残留问题:重复对同一DataFrame执行同键groupby时,会在内部缓存中残留临时分组索引数组,这部分对象的引用不会被Python垃圾回收器扫描到,也无法被内存分配器复用,最终会持续占用物理内存触发OOM。
解决方案
- 替换原生内存分配器:必须在导入pandas之前,通过ctypes加载
jemalloc或tcmalloc动态链接库,这类分配器支持在内存闲置时主动将内存归还给系统,从底层避免虚拟内存持续上涨。示例代码:
# 必须在导入pandas/numpy之前加载 import ctypes ctypes.CDLL("libjemalloc.so") # Windows环境替换为对应jemalloc.dll的绝对路径 import pandas as pd
- 减少groupby缓存残留:调用groupby时传入
sort=False参数,关闭不必要的分组排序逻辑和临时索引缓存;避免在循环中重复对同一DataFrame执行同键groupby操作。 - 修正内存监控逻辑:日常排查优先使用*RSS(常驻物理内存)*判断进程实际内存占用,不要将VMS(虚拟内存)作为内存泄漏的判断依据——VMS的上涨很多时候是分配器的预留行为,并未实际占用物理资源。
内容的提问来源于stack exchange,提问作者Patrick Lehnen
相关产品推荐
相关产品推荐

