Pandas分块读取数据集的合并方法及批量合并优化方案

问题根源 #

使用chunksize参数读取CSV时，得到的是TextFileReader迭代器而非完整DataFrame，无法直接传入pd.merge；你之前的代码还存在以下错误：

1. 初始代码误将字符串'A'、'B'传入pd.merge，实际应传入变量，且TextFileReader本身不支持直接合并
2. 后续代码存在语法错误：right_on['x','y']缺少等号，循环语句未闭合括号；报错“module 'Pandas' has no attribute 'dataframe'”是因为将pd.DataFrame()误写为小写的pd.dataframe()

基础分块合并方案（左连接示例） #

常规思路是将其中一个相对较小的数据集全量读入内存，遍历另一个数据集的分块，逐个合并后拼接结果：

import pandas as pd

# 读取较小的数据集到内存（示例中为B.csv）
df_b = pd.read_csv('B.csv')

# 分块读取大型数据集A.csv，逐个合并
merged_chunks = []
for chunk_a in pd.read_csv('A.csv', chunksize=100000):
    # 分块与全量数据集合并
    chunk_merged = pd.merge(chunk_a, df_b, how='left', on='ID')
    merged_chunks.append(chunk_merged)

# 合并所有分块结果为最终DataFrame
final_df = pd.concat(merged_chunks, ignore_index=True)

封装函数实现复用（避免重复写循环） #

如果需要多次执行分块合并或复杂处理，可将逻辑封装为通用函数：

def chunked_merge(left_csv, right_csv, chunksize=100000, how='left', on=None, left_on=None, right_on=None):
    # 读取右侧数据集到内存
    df_right = pd.read_csv(right_csv)
    merged_results = []
    # 分块遍历左侧数据集并合并
    for chunk_left in pd.read_csv(left_csv, chunksize=chunksize):
        merged_chunk = pd.merge(
            chunk_left, df_right,
            how=how, on=on, left_on=left_on, right_on=right_on
        )
        merged_results.append(merged_chunk)
    # 返回合并后的完整DataFrame
    return pd.concat(merged_results, ignore_index=True)

# 调用示例：合并A.csv和B.csv
final_df = chunked_merge('A.csv', 'B.csv', chunksize=100000, how='left', on='ID')

超大型数据集的高效处理方案 #

若两个数据集都大到无法全量读入内存，或需要多次合并/复杂操作，推荐使用Dask库，它支持类Pandas的API，自动处理分块、并行计算：

import dask.dataframe as dd

# 用Dask读取数据集（自动分块）
dd_a = dd.read_csv('A.csv')
dd_b = dd.read_csv('B.csv')

# 执行合并操作（延迟计算）
dd_merged = dd.merge(dd_a, dd_b, how='left', on='ID')

# 计算并转为Pandas DataFrame（内存足够时）
final_df = dd_merged.compute()

内容的提问来源于stack exchange，提问作者guanhelluh