Pandas多索引层级连接：补全连接侧缺失的层级值

核心背景 #

现有两份层级数据：

• 文件A：包含完整层级结构，但外部系统自动省略value1为0的行，导致部分层级+leaf的记录缺失
• 文件B：包含全量最底层（leaf）数据，无缺失

需求：合并两份数据，生成所有节点下都包含完整leaf层级值的DataFrame，缺失值可填充为0或NaN，要求用join/concat类简洁方法实现。

方案1：Merge + 交叉关联（推荐） #

假设层级列为level1, level2, level3，leaf标识列为leaf_id，文件A对应DataFrame为df_a，文件B为df_b：

import pandas as pd

# 1. 从df_a提取所有层级维度的唯一组合，拿到完整层级框架
full_levels = df_a[['level1', 'level2', 'level3']].drop_duplicates()

# 2. 和df_b的全量leaf数据交叉，生成所有层级+leaf的完整组合
full_leaf = full_levels.merge(df_b, how='cross')

# 3. 关联df_a的value1值，缺失位置填充为0（或替换为pd.NA得到NaN）
result = full_leaf.merge(df_a, on=['level1', 'level2', 'level3', 'leaf_id'], how='left').fillna({'value1': 0})

若leaf与上层级存在归属关联（df_b包含层级列），可将how='cross'改为how='left'，用层级列做关联，避免无效组合。

方案2：Concat + Groupby补全 #

如果df_b本身包含层级列，也可以通过合并空记录后聚合的方式补全：

# 1. 基于df_b生成所有层级+leaf的空value1记录
empty_records = df_b.assign(value1=0)

# 2. 合并原数据与空记录，按层级+leaf分组取最大值（保留非0值，缺失补0）
result = pd.concat([df_a, empty_records], ignore_index=True)
result = result.groupby(['level1', 'level2', 'level3', 'leaf_id'])['value1'].max().reset_index()

关键说明 #

• 两种方案均使用pandas原生方法，无需自定义循环，代码简洁易维护
• 缺失值填充可按需调整：将fillna({'value1':0})替换为fillna({'value1':pd.NA})即可得到NaN结果
• 若层级列较多，可通过[col for col in df_a.columns if 'level' in col]批量提取，避免硬编码列名

内容的提问来源于stack exchange，提问作者user1848244