You need to enable JavaScript to run this app. pandas GroupBy循环计算内存持续增长回收无效问题求助
优惠活动
大模型
产品
解决方案
定价
更多

pandas GroupBy循环计算内存持续增长回收无效问题求助

大规模DataFrame循环groupby计算时虚拟内存持续升高的问题

核心现象

  • 对大尺寸DataFrame执行循环计算时,每轮循环虚拟内存持续上涨,最终会耗尽系统内存
  • 已尝试的排查手段均未生效:手动触发垃圾回收、调整gc模块阈值、使用pympler/objgraph定位对象引用,都没有找到内存泄漏点
  • 复现条件:8GB运行内存、7GB左右页面文件的环境下,仅运行数次迭代就会触发内存耗尽,每轮循环稳定带来约540MB的虚拟内存增长
  • 后续对照测试确认:将groupby计算替换为普通变量赋值后内存无累积,问题源头锁定在groupby相关计算流程;即便在函数内部删除所有临时变量、显式调用gc.collect(),内存累积的问题也没有改善。

最小可复现代码

初始复现脚本

import pandas as pd
import numpy as np
import time
import psutil
import os


def some_operations(data):
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    return data1


if __name__ == "__main__":
    data = pd.DataFrame(np.random.random((7000000, 13)))
    data[0] = data[0] > 0.5
    for j in range(500):
        tack = time.time()
        very_important_variable = some_operations(data)
        p = psutil.Process(os.getpid())
        memory_use = p.memory_info().vms / 1024 ** 2
        tick = time.time()
        print(f"Iteration: {j}, took {tick - tack:.2f} seconds and {memory_use/1000:.2f} GB of memory")

验证内存释放的修改版函数

def some_operations(data):
    data1 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data2 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data3 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data4 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    data5 = data.groupby(0)[2].shift(-5).rolling(window=5, min_periods=1).max()
    result = data1 + data2 + data3 + data4 + data5
    del data1, data2, data3, data4, data5
    gc.collect()
    return result

问题根因

内存累积并非Python层面的对象引用未释放,核心来自两层底层行为:

  1. pandas/numpy的向量化计算依赖原生C层内存分配器,大尺寸groupby/rolling计算申请的连续大块内存,不受Python解释器垃圾回收器的直接管控
  2. Linux环境默认使用的glibc自带ptmalloc分配器,在释放大块高地址内存时,不会主动将这部分内存归还给操作系统,而是将其保留在进程的虚拟内存映射中供后续计算复用,因此psutil监控的VMS(虚拟内存)数值会持续升高
  3. 旧版本pandas存在groupby分组缓存残留问题:重复对同一DataFrame执行同键groupby时,会在内部缓存中残留临时分组索引数组,这部分对象的引用不会被Python垃圾回收器扫描到,也无法被内存分配器复用,最终会持续占用物理内存触发OOM。

解决方案

  • 替换原生内存分配器:必须在导入pandas之前,通过ctypes加载jemalloc或tcmalloc动态链接库,这类分配器支持在内存闲置时主动将内存归还给系统,从底层避免虚拟内存持续上涨。示例代码:
# 必须在导入pandas/numpy之前加载
import ctypes
ctypes.CDLL("libjemalloc.so")  # Windows环境替换为对应jemalloc.dll的绝对路径
import pandas as pd
  • 减少groupby缓存残留:调用groupby时传入sort=False参数,关闭不必要的分组排序逻辑和临时索引缓存;避免在循环中重复对同一DataFrame执行同键groupby操作。
  • 修正内存监控逻辑:日常排查优先使用*RSS(常驻物理内存)*判断进程实际内存占用,不要将VMS(虚拟内存)作为内存泄漏的判断依据——VMS的上涨很多时候是分配器的预留行为,并未实际占用物理资源。

内容的提问来源于stack exchange,提问作者Patrick Lehnen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 18:15:05