pandas ETL中同变量名操作DataFrame的内存占用疑问
Pandas 同名变量操作的内存分配逻辑
Python的变量名本质是指向堆内存中实际对象的引用标签,而非存储对象的实体容器,所有内存分配行为都围绕“对象生成-引用绑定-垃圾回收”三个核心流程运行,对应三个典型操作场景的逻辑拆解如下:
1. 初始创建DataFrame的内存逻辑
执行初始化代码时的内存流程:
- 在堆内存中开辟连续存储空间,生成完整的DataFrame对象实体
- 将栈上定义的
df变量名,绑定到该新对象的内存地址上 - 注:示例代码中的字典重复定义了两次
'column1'键,Python会自动对字典键去重保留最后一个值,不影响内存逻辑判断
2. 就地新增列的内存逻辑
执行df['column3'] = 1操作时:
- 该操作属于对当前df指向的原有DataFrame对象的就地修改,不会生成全新的DataFrame实体
- 仅在原有DataFrame的内部存储结构上,为新列的常量值分配一小块专用内存,不会整体替换原有对象
- 此操作全程不存在“新旧两个同名对象”共存的情况,原DataFrame被直接修改后持续存在于内存中,也就不存在所谓“新对象覆盖旧内存块”的问题
3. 带重新赋值的drop操作内存逻辑
执行df = df.drop(columns={'column1'})操作时,内存变化分为三个连贯步骤:
- 首先获取当前
df绑定的旧版DataFrame对象 - pandas的
drop()方法默认不做原地修改,会在堆内存开辟全新的存储空间,生成一个剔除了指定列的新DataFrame实体(当前版本默认开启数据拷贝,不会和原对象共享大块内存块) - 将
df变量名的绑定关系,从原来的旧对象,切换为指向新生成的DataFrame对象 - 这个执行窗口期内,新旧两个DataFrame会短暂同时占用内存:旧对象因为已经失去
df的引用,会等待Python垃圾回收机制检测到引用计数归0后,才会被标记为可回收、释放占用的内存空间。不存在所谓“新对象直接覆盖旧对象内存块”的逻辑
对应ETL场景的内存优化提示
很多本地ETL流程中出现的内存超限问题,恰恰和这种“新旧对象短暂共存”的内存峰值直接相关:
- 所有未设置
inplace=True的DataFrame变换方法,默认都会生成新对象,不会复用原有内存空间 - 大尺寸DataFrame的链式变换(连续多次
df = df.xxx())会不断制造新旧共存的内存峰值,单次峰值可能达到原对象的1.5-2倍大小 - 可通过两种方式降低峰值:
- 对确定不需要保留原数据的操作,显式设置
inplace=True,直接在原内存空间上完成修改,不生成新对象 - 变换完成后主动清理无引用的对象,触发垃圾回收,避免内存占用累积
- 对确定不需要保留原数据的操作,显式设置
内容的提问来源于stack exchange,提问作者J.C Guzman
相关产品推荐
相关产品推荐

