Pandas多层索引DataFrame透视后补全缺失列的实现方法

初始DataFrame定义如下：

import pandas as pd
import numpy as np

df = pd.DataFrame({ 
                "metric": ["1","2","1" ,"1","2"],
                "group1":["o", "x", "x" , "o", "x"],
                "group2":['a', 'b', 'a', 'a', 'b'] ,
                "value": range(5),
                "value2": np.array(range(5))* 2})

初始df结构：

metric group1 group2  value  value2
0      1      o      a      0       0
1      2      x      b      1       2
2      1      x      a      2       4
3      1      o      a      3       6
4      2      x      b      4       8

执行透视转换的代码：

df['g'] = df.groupby(['group1','group2'])['group2'].cumcount()
df1 = df.pivot(index=['g','metric'], columns=['group1','group2'], values=['value','value2']).sort_index(axis=1).rename_axis(columns={'g':None})

透视后输出结构：

value       value2      
group1        o   x       o   x    
group2        a   a   b   a   a   b
g metric                           
0 1         0.0 2.0 NaN 0.0 4.0 NaN
  2         NaN NaN 1.0 NaN NaN 2.0
1 1         3.0 NaN NaN 6.0 NaN NaN
  2         NaN NaN 4.0 NaN NaN 8.0

补全所有缺失的多层索引列，比如("value","o","b")、("value2","o","b")等，缺失值填充为NaN。同时支持边界场景：即使原始数据中不存在某个group2值（比如b），也能强制生成对应列。

用户尝试的代码执行后不符合预期：

cols = [('value','x','a'), ('value','o','a'),('value','o','b')]
df1.assign(**{col : "NA" for col in np.setdiff1d(cols, df1.columns.values)})

期望输出结构：

value               value2            
group1        o       x       o       x      
group2        a   b   a   b   a   b   a   b
g metric                                   
0 1         0.0 NaN 2.0 NaN 0.0 NaN 4.0 NaN
  2         NaN NaN NaN 1.0 NaN NaN NaN 2.0
1 1         3.0 NaN NaN NaN 6.0 NaN NaN NaN
  2         NaN NaN NaN 4.0 NaN NaN NaN 8.0

原有代码的问题在于np.setdiff1d会自动将元组类型的多层列名转换为字符串，导致新增列的索引格式错误，无法匹配多层结构。推荐使用reindex方法批量补全多层索引列：

# 手动指定所有维度的完整可选值，可灵活适配边界场景
value_dim = ['value', 'value2']
group1_dim = ['o', 'x']
group2_dim = ['a', 'b'] # 即使原始数据无b，写在此处即可强制生成对应列

# 生成完整的多层列索引
full_columns = pd.MultiIndex.from_product(
    [value_dim, group1_dim, group2_dim],
    names=[None, 'group1', 'group2']
)

# 列轴重索引，缺失列自动填充NaN，按列排序后输出
df1_full = df1.reindex(columns=full_columns).sort_index(axis=1)

该方案无需循环添加列，性能更优，且天然保持多层索引的层级结构，完全适配普通场景和边界场景。如果需要指定填充值而非默认NaN，可以在reindex中添加fill_value参数，比如fill_value=0即可将缺失列填充为0。

内容的提问来源于stack exchange，提问作者Alexander