如何以非硬编码的鲁棒方式展平Pandas多索引列？

问题分析 #

你的DataFrame列采用多层索引（MultiIndex）结构：部分主列（如pay）对应多个phase值，部分主列（如site）仅对应一个phase，还有部分主列（如delta）的phase为空字符串。需要将多层索引展平为单层列名，同时保留业务逻辑上的合理命名，且无需硬编码列位置。

鲁棒实现代码 #

import pandas as pd
from collections import defaultdict

# 构造目标DataFrame（已有DataFrame可跳过此段）
data = [['London', 12.3, 10.3, -2.0, 0.0, -2.0],
        ['Bristol', 7.3, 13.2, 5.8999999999999995, 5.8999999999999995, 0.0],
        ['Bristol', 17.3, 19.2, 1.8999999999999986, 1.8999999999999986, 0.0]]
cols = pd.MultiIndex.from_tuples([('site', 'a'), ('pay', 'a'), ('pay', 'b'), ('delta', ''), ('over', ''), ('under', '')], names=[None, 'phase'])
df = pd.DataFrame(data, index=['D01', 'D02', 'D03'], columns=cols)
df.index.name = 'ID'

# 核心处理逻辑
# 统计每个主列对应的所有phase值
main_phase_map = defaultdict(set)
for main_col, phase in df.columns:
    main_phase_map[main_col].add(phase)

# 动态生成单层列名
new_columns = []
for main_col, phase in df.columns:
    if phase == '':
        # phase为空时直接使用主列名
        new_columns.append(main_col)
    else:
        # 主列仅对应一个phase时保留主列名，否则用phase作为列名
        if len(main_phase_map[main_col]) == 1:
            new_columns.append(main_col)
        else:
            new_columns.append(phase)

# 重命名列得到展平后的DataFrame
df_flattened = df.rename(columns=dict(zip(df.columns, new_columns)))

代码说明 #

1. 统计phase分布：遍历所有列，自动统计每个主列对应的phase集合，完全避免硬编码列的位置或名称。
2. 动态生成列名：
   • 若phase为空字符串，直接使用主列名（如delta、over）；
   • 若主列仅对应一个phase，保留主列名（如site仅对应a，列名仍为site）；
   • 若主列对应多个phase，用phase作为列名（如pay对应a和b，列名设为a、b）。
3. 鲁棒性：无论列的顺序如何、后续是否新增主列或phase，代码都能自动适配，无需修改硬编码逻辑。

最终效果 #

展平后的DataFrame结构如下：

ID      site     a     b  delta  over  under
D01   London  12.3  10.3   -2.0   0.0   -2.0
D02  Bristol   7.3  13.2    5.9   5.9    0.0
D03  Bristol  17.3  19.2    1.9   1.9    0.0

内容的提问来源于stack exchange，提问作者Penelope