优化Python中Pandas操作的内存占用问题

核心问题分析 #

你的内存暴增主要来自三个环节：

1. 连续Left Join的数据膨胀：每次Left Join都会保留左表所有行，若右表在关联键上存在重复值，会导致左表对应行被复制多次，连续Join后数据行数可能呈指数级增长。
2. 链式调用的中间对象滞留：链式写法会让Pandas保留所有中间DataFrame对象，直到最终结果生成，这些临时对象会占用大量内存。
3. 全量排序的额外内存开销：sort_values默认会创建数据副本，且排序过程需要额外的临时内存，若中间DataFrame已经很大，这部分开销会非常显著。

具体优化手段 #

1. 提前对关联表去重，避免Join时数据膨胀 #

对参与Left Join的右表（df2、df3、df4），先按关联键去重，消除重复匹配项，从根源减少Join后的行数：

# 预处理关联表，仅保留关联键和必要列
df2 = df2.drop_duplicates(subset=["col2"], keep="first")
df3 = df3.drop_duplicates(subset=["col3"], keep="first")
df4 = df4.drop_duplicates(subset=["col4"], keep="first")

2. 拆解链式调用，手动释放中间内存 #

放弃链式写法，分步执行操作，删除中间变量并触发垃圾回收，避免临时对象占用内存：

# 第一步：过滤df1并提前去重
filtered_df = df1.query("`col1` == 'val1'")
filtered_df = filtered_df.drop_duplicates(subset=["col2", "col3"], keep="first")

# 第二步：第一次Merge
merged_df = filtered_df.merge(df2, on="col2", how="left")
# 删除临时对象并释放内存
del filtered_df
import gc
gc.collect()

# 第三步：后续Merge操作
merged_df = merged_df.merge(df3, on="col3", how="left")
# 仅保留df4中需要的列参与Merge，减少数据体积
merged_df = merged_df.merge(df4[["col4", "需保留的列名"]], on="col4", how="left")

# 第四步：替代排序+去重逻辑
# 仅按col1降序后去重，减少排序开销
merged_df = merged_df.sort_values(by="col1", ascending=False)
merged_df = merged_df.drop_duplicates(subset=["col2", "col3"], keep="first")

return merged_df

3. 用GroupBy替代排序+去重，进一步降低内存 #

如果核心需求是保留每个(col2, col3)组中col1最大的行，可跳过全量排序，用GroupBy直接聚合，内存开销更小：

# Merge完成后执行，直接定位每组中col1最大的行
merged_df = merged_df.loc[merged_df.groupby(["col2", "col3"])["col1"].idxmax()]

4. Merge时的内存优化细节 #

• 使用copy=False参数（Pandas 1.5+支持）：避免Merge时创建数据副本，直接在原数据上操作（注意：若后续不需要原数据，此参数安全有效）：

  merged_df = filtered_df.merge(df2, on="col2", how="left", copy=False)
  

• 严格筛选参与Merge的列：Merge前对所有DataFrame只保留关联键和需要合并的目标列，彻底剔除冗余列。

5. 确认分类类型的正确使用 #

如果字符串列（如col1、col2、col3）的不同值数量远小于总行数，确保已将其转为category类型，这会大幅降低内存占用：

df1["col1"] = df1["col1"].astype("category")
df1["col2"] = df1["col2"].astype("category")
# 同理处理其他DataFrame的对应列

内容的提问来源于stack exchange，提问作者BD O