如何在Pandas中用MultiIndex合并层级数据且避免行重复

针对合并三级层级数据集、避免重复填充内存浪费、实现自动层级匹配计算的需求，可按以下步骤操作：

1. 补全各数据集的三级索引 #

给仅高层级的数据集补充空值层级，构造统一的三级MultiIndex，避免后续合并时自动填充重复值：

import pandas as pd

# 处理数据集A（仅primary层级）
A_full_index = pd.MultiIndex.from_product(
    [A.index, [pd.NA], [pd.NA]],
    names=['primary', 'secondary', 'tertiary']
)
A = A.reindex(A_full_index)

# 处理数据集B（primary+secondary层级）
B_levels = B.index.levels
B_full_index = pd.MultiIndex.from_product(
    [B_levels[0], B_levels[1], [pd.NA]],
    names=['primary', 'secondary', 'tertiary']
)
B = B.reindex(B_full_index)

# 数据集C本身是三级索引，无需修改

2. 无重复填充合并 #

用concat按行合并，保留各数据集的原生索引，这样高层级的行（如(5, pd.NA, pd.NA)）仅存储一次对应列值，不会被复制到同primary下的所有子层级行：

# 给各数据集列加前缀区分来源，避免列名冲突
A.columns = [f"A_{col}" for col in A.columns]
B.columns = [f"B_{col}" for col in B.columns]
C.columns = [f"C_{col}" for col in C.columns]

# 合并并排序索引
merged_df = pd.concat([A, B, C], axis=0).sort_index()

3. 自动层级匹配计算 #

利用groupby.transform动态获取对应高层级的值，无需提前填充重复值。比如实现C1 = A1 + C1的操作：

# 提取每个primary层级对应的A1值，自动广播到该层级下所有行
a1_primary_values = merged_df.groupby(level='primary')['A_A1'].transform('first')

# 仅对有tertiary层级的C1行执行加法
merged_df.loc[merged_df.index.get_level_values('tertiary').notna(), 'C_C1'] += a1_primary_values

4. 空值索引的支持 #

构造索引时使用pd.NA，Pandas的MultiIndex原生支持空值，高层级存在但低层级无对应键的行（如(1,5,pd.NA)）会被正常保留，不会生成无效的索引组合。

5. 同步修改高层级值（动态更新） #

如果需要修改高层级值后，低层级计算自动同步，无需手动更新所有子行——每次计算时重新执行groupby.transform即可，它会实时提取最新的高层级值，相当于实现了“指针式”的同步效果，且不会占用额外内存。

内容的提问来源于stack exchange，提问作者guest