如何高效左合并大型Dask DataFrame，不按索引匹配且保留左表分区？

你不需要先给df_1加索引再恢复，直接在merge时指定shuffle='left'参数就能解决问题：

df_1 = dd.merge(
    left=df_1,
    right=df_2,
    how='left',
    left_on='col_to_merge',
    right_index=True,
    shuffle='left'
)

原理说明 #

Dask默认的merge策略是把左表shuffle到右表的分区（因为右表已经按连接键索引并分区，这样合并效率更高），但这会改变左表的原有分区结构。而设置shuffle='left'后，Dask会转而将右表适配左表的分区，合并后的结果会完全保留df_1原有的分区数量、顺序以及每个分区内的数据顺序，完美匹配你的需求。

为什么比你当前的方法更优 #

你之前的方法需要两次全局shuffle（两次set_index），这对大型数据集来说是极高的性能开销。而shuffle='left'只需要一次针对性的shuffle操作（甚至Dask会根据分区情况做优化，减少数据移动），整体运行成本会大幅降低。

备选方案：map_partitions（适合特殊场景） #

如果你的Dask版本较旧不支持shuffle参数，或者需要更灵活的分区处理，可以用map_partitions对df_1的每个分区单独执行合并，强制保留原分区结构：

import pandas as pd

def merge_single_partition(partition):
    return pd.merge(
        partition,
        df_2,
        how='left',
        left_on='col_to_merge',
        right_index=True
    )

# 指定meta确保Dask能正确推断结果结构
df_1 = df_1.map_partitions(merge_single_partition, meta=df_1._meta.merge(df_2._meta))

注意：即使df_2极大无法放入单节点内存，这个方法依然可行——Dask会自动将df_2的对应分区与左表分区做合并，不会一次性加载全量df_2。

内容的提问来源于stack exchange，提问作者CynthiaL