Pandas分块合并DataFrame后结果尺寸远超预期问题求助

核心原因 #

你的分块合并逻辑在特定场景下会导致结果行数异常膨胀，主要有两个关键点：

1. 合并方式（how参数）引发重复行累加 #

当使用how='left'或how='outer'时，当前代码会用完整的小表df1去和每个大表df2的分块合并，每次合并都会保留df1的所有行。最后拼接所有分块结果时，df1的行被重复添加了「分块数」次，直接导致结果行数爆炸。

比如df1有1000行，分了10个df2块，left合并后每个分块结果都会包含这1000行，最终拼接后df1的行就有10×1000=10000行，远超正常结果。

2. 合并键存在重复值引发笛卡尔积 #

如果df1或df2的合并共列中有重复值，pd.merge默认会生成所有匹配组合（笛卡尔积）。比如df1中某合并键值出现3次，df2分块中该值出现2次，这一块就会生成3×2=6行，所有分块累加后总行数会远大于原始两表行数之和。

修复方案 #

方案1：根据合并方式调整分块策略 #

修改代码，针对不同合并方式选择正确的分块对象，避免重复保留行：

def merge_chunk(df1, df2, chunksize=10000, logger=None, **kwargs):
    """
    Merging 2 DataFrames in chunks
 
    Args:
        df1 : First DataFrame
        df2 : Second DataFrame
        chunksize : chunksize to merge
        logger : logger
    Returns:
        df : merged DataFrame
    """
    merge_on = set(df1.columns) & set(df2.columns)
    if not merge_on:
        raise ValueError("No common columns to merge on") 
    
    # 获取合并方式，默认inner
    how = kwargs.get('how', 'inner')
    
    # 根据合并方式选择分块对象
    if how in ['left', 'outer']:
        # left/outer合并时，分块较小的表（避免重复保留大表行）
        if df1.shape[0] > df2.shape[0]:
            chunk_df, full_df = df2, df1
        else:
            chunk_df, full_df = df1, df2
        list_df = [chunk_df[i:i+chunksize] for i in range(0, chunk_df.shape[0], chunksize)]
    else:
        # inner/right合并时，分块较大的表
        if df1.shape[0] > df2.shape[0]:
            df1, df2 = df2, df1
        list_df = [df2[i:i+chunksize] for i in range(0, df2.shape[0], chunksize)]
    
    if logger:
        logger.info(f'Size of chunk: {chunksize}')
        logger.info(f'Number of chunks: {len(list_df)}')
    
    merged_chunks = []
    for chunk in list_df:
        if how in ['left', 'outer']:
            merged_chunk = pd.merge(chunk, full_df, **kwargs)
        else:
            merged_chunk = pd.merge(df1, chunk, **kwargs)
        merged_chunks.append(merged_chunk)

    res = pd.concat(merged_chunks, ignore_index=True)
    return res 

方案2：清理合并键重复值 #

如果是重复键导致的笛卡尔积，先根据业务需求清理重复值：

# 对df1的合并键去重（保留首次出现的行）
df1 = df1.drop_duplicates(subset=merge_on)
# 对df2的合并键去重
df2 = df2.drop_duplicates(subset=merge_on)

验证步骤 #

1. 先运行直接合并的代码，确认预期结果：

   expected_df = pd.merge(df1, df2, **kwargs)
   print(f"预期行数: {expected_df.shape[0]}")
   

2. 运行修改后的分块合并函数，对比结果行数是否与预期一致。

内容的提问来源于stack exchange，提问作者Malav Bateriwala