pd.merge外连接后行数远超预期引发内存错误，如何解决？

你看到的超大行数是因为默认的pd.merge()会把所有列名相同的列作为连接键，如果这些列中存在大量重复值，就会触发笛卡尔积（Cartesian Product）——也就是df中的每一行都会和df1中所有匹配的行组合，最终行数接近两个表行数的乘积（367923 × 308185 ≈ 6.8×10¹⁰），这直接导致内存溢出。

举个简单例子：如果df有3行相同数据，df1有2行相同数据，merge后会生成3×2=6行，而不是你预期的3+2=5行（去重后）或5行（不去重）。

1. 用pd.concat()做行拼接（如果只是想合并两行数据） #

如果你的需求是把两个表上下拼接（而非按列匹配连接），完全不需要用merge，直接用pd.concat()：

df_combined = pd.concat([df, df1], axis=0, ignore_index=True)

这样合并后的行数就是367923 + 308185 = 676108，和你预期的数量级一致（你说的616370可能是去重后的结果，可后续加df_combined = df_combined.drop_duplicates()）。

2. 明确指定连接键（如果需要按特定列匹配合并） #

如果确实需要按列匹配连接，必须用on参数指定唯一标识的连接键（比如主键列），避免用所有列做匹配：

# 假设你的唯一标识列叫'id'
df_combined = pd.merge(df, df1, how='outer', on='id')

这样只会按指定列匹配，不会产生无意义的笛卡尔积。

3. 先去重再合并 #

如果两个表本身存在大量重复行，先去重可以大幅减少数据量：

df = df.drop_duplicates()
df1 = df1.drop_duplicates()
# 再执行concat或merge
df_combined = pd.concat([df, df1], axis=0, ignore_index=True)

4. 内存优化（针对超大数据集） #

如果数据量本身超出内存，可做以下优化：

• 转换数据类型：把占用内存大的类型（如int64）转成更小的类型（如int32/int16，前提是数值范围允许），字符串列转成category类型：

  df['某整数列'] = df['某整数列'].astype('int32')
  df['某字符串列'] = df['某字符串列'].astype('category')
  df1['某整数列'] = df1['某整数列'].astype('int32')
  df1['某字符串列'] = df1['某字符串列'].astype('category')
  

• 分块处理：用pandas的分块读取/处理，或者使用支持并行计算的大数据库（如Dask）拆分任务。

内容的提问来源于stack exchange，提问作者Tal1992