Pandas展平多级索引DataFrame遇重复索引错误的解决问询

原始Pandas DataFrame结构如下（多级索引）：

M
AAL XXX                 1.244000e+09
    YYY                 9.036011e+00
    ZZZ                 0.000000e+00
    WWW                 1.124000e+09
    UUU                -2.220000e+08
...                                           ...
XPO XXX                -3.221000e+06
    YYY                 2.450590e+08
    ZZZ                 1.770200e+07
    III                 1.770200e+07
    NNN                 2.719070e+08

其中第一级索引为AAL、XPO等，第二级索引为特征（不同组特征存在差异，比如AAL有UUU，XPO有III，但都包含XXX、YYY、ZZZ）。需要转换为如下宽表格式：

Index_0_Original         XXX         YYY          ZZZ          WWW          UUU ...       III          NNN
AAL             1.244000e+09  9.036011e+00  0.000000e+00  1.124000e+09 -2.220000e+08 
XPO             -3.221000e+06 2.450590e+08  1.770200e+07                            1.770200e+07 2.719070e+08

尝试常规重塑方法时出现ValueError: Index contains duplicate entries, cannot reshape错误。

出现该错误的核心原因是原多级索引中存在重复的（第一级索引, 第二级索引）组合，比如某组（如AAL）下出现了两次XXX特征，导致unstack()无法确定要保留哪个值，从而抛出冲突错误。

步骤1：检查重复索引 #

先确认是否存在重复的多级索引对：

import pandas as pd

# 假设原始DataFrame名为df
print(df.index.duplicated().any())  # 返回True则说明存在重复

步骤2：处理重复并重塑 #

根据数据特点选择合适的方式处理重复项，再进行重塑：

方式一：使用pivot_table自动处理重复（推荐）

pivot_table支持指定聚合函数，遇到重复索引时会自动聚合（如取第一个值、求和、均值等）：

# 重置索引后用pivot_table重塑
result = df.reset_index().pivot_table(
    index='level_0',  # 对应原第一级索引（AAL、XPO）
    columns='level_1',  # 对应原第二级特征索引
    values='M',
    aggfunc='first'  # 遇到重复时取第一个值，可替换为'sum'/'mean'等
)

# 调整索引和列名格式，匹配目标样式
result = result.rename_axis(
    index='Index_0_Original', 
    columns=None
).reset_index()

方式二：先去重再unstack

如果确定重复项是无效数据，可先删除重复索引，再用unstack：

# 保留每组特征的第一个出现值，删除重复项
df_clean = df[~df.index.duplicated(keep='first')]

# 直接unstack第二级索引
result = df_clean.unstack(level=1)

# 调整列名和索引格式
result.columns = result.columns.droplevel(0)  # 移除原列名的'M'层级
result = result.rename_axis(index='Index_0_Original', columns=None).reset_index()

最终效果 #

处理后得到的result即为目标宽表格式，缺失的特征值会自动填充为NaN，可根据需求用fillna(0)替换为0。

内容的提问来源于stack exchange，提问作者sword134