如何在Pandas中合并超大DataFrame时避免「无法分配464GiB内存」错误

核心问题定位 #

你遇到的本质是内存不足导致全量合并失败，.head()只取小批量数据所以能成功，但全量合并时内存扛不住。既然连接列无空值、其他空值不能丢，重点就放在内存优化和分块处理上。

具体解决方法 #

1. 先优化DataFrame内存占用 #

先给两个DataFrame做内存瘦身，减少基础内存消耗：

• 把能转成category类型的列转了（比如字符串列、枚举类列）：

  df1['非连接字符串列'] = df1['非连接字符串列'].astype('category')
  df2['对应列'] = df2['对应列'].astype('category')
  

• 数值类型向下压缩：比如把int64转成int32/int8，float64转成float32，前提是不损失精度：

  import numpy as np
  def reduce_mem_usage(df):
      for col in df.columns:
          col_type = df[col].dtype
          if col_type != object:
              c_min = df[col].min()
              c_max = df[col].max()
              if str(col_type)[:3] == 'int':
                  if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                      df[col] = df[col].astype(np.int8)
                  elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                      df[col] = df[col].astype(np.int16)
                  elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                      df[col] = df[col].astype(np.int32)
              else:
                  if c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                      df[col] = df[col].astype(np.float32)
      return df
  
  df1 = reduce_mem_usage(df1)
  df2 = reduce_mem_usage(df2)
  

2. 分块合并（最实用的超大DataFrame处理方式） #

把其中一个DataFrame按连接列分块，逐块和另一个DataFrame合并，最后拼接结果：

import pandas as pd
import numpy as np

# 假设连接列叫'key_col'
chunk_size = 10  # 分块数，根据内存情况调整
df1['chunk'] = df1['key_col'].apply(lambda x: hash(x) % chunk_size)

merged_list = []
for chunk_id in df1['chunk'].unique():
    # 取当前块的df1数据
    df1_chunk = df1[df1['chunk'] == chunk_id].drop('chunk', axis=1)
    # 只取df2中key_col在当前块范围内的数据，减少合并量
    df2_chunk = df2[df2['key_col'].isin(df1_chunk['key_col'])]
    # 内连接合并
    merged_chunk = pd.merge(df1_chunk, df2_chunk, on='key_col', how='inner')
    merged_list.append(merged_chunk)

# 拼接所有块结果
final_df = pd.concat(merged_list, ignore_index=True)

这种方法每次只处理小部分数据，不会一次性占满内存，且完整保留所有空值。

3. 用Dask处理（超大规模数据适配） #

如果数据大到单机内存扛不住，用Dask DataFrame代替Pandas，它会自动分块并行处理：

import dask.dataframe as dd

# 读取成Dask DataFrame（支持csv/parquet等格式）
ddf1 = dd.read_csv('large_df1.csv')
ddf2 = dd.read_csv('large_df2.csv')

# 内连接合并
merged_ddf = dd.merge(ddf1, ddf2, on='key_col', how='inner')

# 计算并转成Pandas DataFrame（内存足够时），或直接保存到文件
final_df = merged_ddf.compute()
# 或直接保存结果
merged_ddf.to_csv('merged_result.csv', single_file=True)

注意事项 #

• 合并前确认两个DataFrame的连接列数据类型完全一致，比如一个是str一个是int会导致匹配失败，内连接结果为空或数据缺失。
• 分块合并时，尽量选择基数大的连接列分块，避免某一块数据量过大。

内容的提问来源于stack exchange，提问作者JohnB