Pandas合并操作内存占用异常飙升问题求助

问题核心原因 #

你遇到的内存爆炸问题，本质是连接键的重复导致了笛卡尔积式的行膨胀。左连接时，如果左表（b）的id1和右表（a）的id存在大量重复值，每一对重复的键都会生成N*M行数据——比如某个id在b里出现10万次，在a里出现10万次，光这一个id就会产生10亿行匹配结果，直接把内存撑爆。

从你的数据规模看：b表1500万行、a表1009万行，如果存在高重复的共通id，合并后的行数轻松突破万亿级，对应内存需求自然会达到1.6TiB。

先排查重复键情况 #

先确认是不是重复键导致的问题，跑以下代码：

# 查看a表中单个id的最大重复次数
print("a表id最大重复次数：", a['id'].value_counts().max())
# 查看b表中单个id1的最大重复次数
print("b表id1最大重复次数：", b['id1'].value_counts().max())

# 找出会产生大量匹配行的高危id
common_ids = set(a['id']) & set(b['id1'])
for idx in common_ids:
    cnt_a = a['id'].eq(idx).sum()
    cnt_b = b['id1'].eq(idx).sum()
    total_rows = cnt_a * cnt_b
    if total_rows > 1000000:
        print(f"ID [{idx}] 匹配后将生成 {total_rows} 行数据")

针对性解决方法 #

1. 先去重再合并（如果业务允许） #

如果你只需要每个id对应一条date数据，先对a表按id去重，再合并：

# 按id去重，保留最后一条的date（可根据业务改keep='first'）
a_unique = a.drop_duplicates(subset='id', keep='last')
# 再执行合并
x = b.merge(a_unique, left_on='id1', right_on='id', how='left')

这能直接避免重复键导致的行膨胀，是最有效的解决方案。

2. 优化连接键的数据类型 #

你的id/id1都是object类型，内存占用高且合并效率低，转成更高效的类型：

• 如果是字符串类型的数字，直接转整数：

  # 先确认所有id都是可转整数的字符串
  a['id'] = a['id'].astype(int)
  b['id1'] = b['id1'].astype(int)
  

• 如果是不可转数字的字符串，转成分类类型（Categorical）：

  a['id'] = a['id'].astype('category')
  b['id1'] = b['id1'].astype('category')
  

分类类型能大幅降低内存占用，同时提升合并速度。

3. 分批合并（必须保留所有匹配行时） #

如果业务上必须保留所有匹配结果，内存又不够，就分批处理：

import pandas as pd

# 获取所有唯一的连接键，拆分批次
unique_ids = sorted(list(set(b['id1'])))
batch_size = 10000  # 可根据内存调整批次大小
result_dfs = []

for i in range(0, len(unique_ids), batch_size):
    # 取当前批次的id
    batch_ids = unique_ids[i:i+batch_size]
    # 筛选当前批次的b表数据
    b_batch = b[b['id1'].isin(batch_ids)]
    # 筛选对应批次的a表数据
    a_batch = a[a['id'].isin(batch_ids)]
    # 合并当前批次
    merged_batch = b_batch.merge(a_batch, left_on='id1', right_on='id', how='left')
    result_dfs.append(merged_batch)

# 拼接所有批次结果
final_df = pd.concat(result_dfs, ignore_index=True)

内容的提问来源于stack exchange，提问作者Gal