合并两个大型pandas DataFrame遇内存错误，求最优解决方案

嘿，这个问题我之前碰过好多次——明明两个文件加起来才300多MB，合并居然爆内存，其实大概率不是文件本身的锅，而是pandas默认加载后内存膨胀，或者merge过程中临时数据占了太多空间。下面给你一步步来的最优解决方案：

Pandas默认会用大尺寸的数据类型（比如int64、float64）存储数据，很多时候完全可以换成更小的类型，把内存占用砍到原来的30%-50%。另外，重复率高的字符串列可以转成category类型，进一步节省空间。

这里有个通用的内存优化函数：

import pandas as pd

def reduce_mem_usage(df):
    # 优化数值型列
    for col in df.select_dtypes(include=['int64', 'float64']).columns:
        if df[col].dtype == 'int64':
            # 根据列的最小值最大值选择最合适的整数类型
            min_val = df[col].min()
            max_val = df[col].max()
            if min_val >= -2**31 and max_val <= 2**31 - 1:
                df[col] = df[col].astype('int32')
            elif min_val >= -2**15 and max_val <= 2**15 - 1:
                df[col] = df[col].astype('int16')
            elif min_val >= 0 and max_val <= 255:
                df[col] = df[col].astype('uint8')
        else:  # 处理float64列
            df[col] = df[col].astype('float32')
    
    # 优化字符串列：重复率超过50%就转成category
    for col in df.select_dtypes(include=['object']).columns:
        if df[col].nunique() / len(df) < 0.5:
            df[col] = df[col].astype('category')
    return df

# 加载文件并立即瘦身
df1 = reduce_mem_usage(pd.read_csv('your_first_file.csv'))
df2 = reduce_mem_usage(pd.read_csv('your_second_file.csv'))

很多时候，你不需要加载整个DataFrame的所有列——只加载合并需要的id列和你要保留的业务列，能大幅降低内存压力。另外，明确指定on参数（不要让pandas自动检测），根据需求选择合适的how类型（比如inner比outer内存占用小），还可以试试sort=True用排序合并代替默认的哈希合并，内存占用可能更低。

示例：

# 只加载需要的列：id + 你需要的业务列
df1 = pd.read_csv('file1.csv', usecols=['id', 'user_name', 'age'])
df2 = pd.read_csv('file2.csv', usecols=['id', 'order_id', 'amount'])

# 执行合并，明确指定on和how
merged_df = pd.merge(df1, df2, on='id', how='inner', sort=True)

如果上面两步还是不行，可以把较大的那个DataFrame分成小块，逐个和小表合并，最后拼接结果。这种方法把内存压力分散到每个块的处理上，适合内存特别紧张的场景。

示例：

# 先加载并瘦身小表（120MB的那个）
df_small = reduce_mem_usage(pd.read_csv('small_file.csv'))

# 把大表分成块处理，chunk_size根据你的内存调整（比如10万行一块）
chunk_size = 100000
merged_chunks = []

for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    # 块也要先瘦身
    chunk = reduce_mem_usage(chunk)
    # 和小表合并
    merged_chunk = pd.merge(df_small, chunk, on='id', how='inner')
    merged_chunks.append(merged_chunk)

# 拼接所有块得到最终结果
final_df = pd.concat(merged_chunks, ignore_index=True)

如果你之前用Dask没成功，可能是读取方式不对。Dask的核心是把数据分成多个分区并行处理，只要正确设置分区大小，就能避免内存溢出。

示例：

import dask.dataframe as dd

# 读取文件时指定分区大小（建议每个分区64MB，适配大多数内存情况）
df1 = dd.read_csv('file1.csv', blocksize='64MB')
df2 = dd.read_csv('file2.csv', blocksize='64MB')

# 执行合并，Dask会自动并行处理
merged_df = dd.merge(df1, df2, on='id', how='inner')

# 把结果保存到文件（推荐用single_file=True生成单个文件）
merged_df.to_csv('merged_result.csv', single_file=True)

# 如果结果能放进内存，也可以转成Pandas DataFrame
# final_df = merged_df.compute()

如果以上方法都不行，试试把数据导入SQLite（轻量级磁盘数据库），用SQL的Join来合并——数据库是基于磁盘操作的，不会把整个数据加载到内存，完全避免内存溢出问题。

示例：

import sqlite3
import pandas as pd

# 创建一个磁盘数据库（也可以用':memory:'在内存中创建，但磁盘更稳）
conn = sqlite3.connect('merge_temp.db')

# 把两个DataFrame导入数据库表
df1.to_sql('table1', conn, index=False, if_exists='replace')
df2.to_sql('table2', conn, index=False, if_exists='replace')

# 执行SQL Join查询
query = """
SELECT *
FROM table1
INNER JOIN table2 ON table1.id = table2.id
"""
merged_df = pd.read_sql(query, conn)

# 关闭连接
conn.close()

内容的提问来源于stack exchange，提问作者Vikram