高效合并多索引Pandas DataFrame：处理缺失索引的广播填充需求

针对1000万行、8级多索引且部分DataFrame仅含2-3级索引的场景，结合数据已排序的前提，以下是比常规merge/join/concat更高效的方案：

核心原则 #

优先补全低层级索引的DataFrame结构，利用已排序特性跳过排序步骤，减少内存开销与计算耗时。

具体实现步骤 #

1. 补全低索引层级的DataFrame #

对于仅含部分索引层级的DF，无需生成笛卡尔积，直接基于全量索引的结构来扩展（避免内存爆炸）：

# 假设full_df是包含完整8级索引的基准DataFrame
full_index_names = full_df.index.names
# 以某仅含['idx1', 'idx2']两级索引的df_small为例
small_index_names = df_small.index.names

# 将基准索引转为DataFrame，与小DF做关联补全缺失索引
index_df = full_df.index.to_frame(index=False)
expanded_df = index_df.merge(df_small.reset_index(), on=small_index_names, how='left')

# 重新设置为完整多索引
expanded_df = expanded_df.set_index(full_index_names)

这种方式直接复用已有的全量索引，避免生成不必要的笛卡尔积，内存效率更高。

2. 利用已排序特性的快速合并 #

所有DF补全索引后，因为数据已排序，直接使用concat并关闭排序，或使用merge指定sort=False：

方式一：pd.concat（适合多DF批量合并）

# 收集所有补全后的DF（包括基准full_df）
df_list = [full_df, expanded_df1, expanded_df2]
merged_df = pd.concat(df_list, axis=1, sort=False)

方式二：pd.merge（适合逐步合并）

merged_df = full_df.merge(expanded_df1, left_index=True, right_index=True, sort=False)
merged_df = merged_df.merge(expanded_df2, left_index=True, right_index=True, sort=False)

关闭sort参数后，Pandas会跳过内部排序流程，这在大数据量下能节省大量时间。

3. 极致优化：索引编码压缩 #

将多索引的每个层级转换为分类类型（Categorical），大幅降低内存占用并加速索引对齐：

from pandas.api.types import CategoricalDtype

# 对所有DF的索引层级统一编码
for level in full_index_names:
    # 从基准DF获取该层级的唯一值（已排序）
    cat_categories = full_df.index.unique(level)
    cat_type = CategoricalDtype(categories=cat_categories, ordered=True)
    
    # 基准DF索引编码
    full_df.index = full_df.index.set_levels(
        full_df.index.get_level_values(level).astype(cat_type),
        level=level
    )
    # 其他补全后的DF索引编码
    expanded_df1.index = expanded_df1.index.set_levels(
        expanded_df1.index.get_level_values(level).astype(cat_type),
        level=level
    )

分类类型的索引在对齐时无需比较字符串，直接用整数映射，速度与内存效率均有显著提升。

避坑提示 #

• 禁止使用pd.join默认参数，默认会强制排序，必须显式设置sort=False
• 不要直接生成全量笛卡尔积来补全索引，优先用基准索引关联的方式
• 合并时尽量减少中间变量复制，可采用链式操作避免内存冗余

内容的提问来源于stack exchange，提问作者Shaurya Verma