含重复条目的DataFrame重塑为双层表头结构时遇ValueError的解决求助

嘿，我刚好碰到过一模一样的问题！你报错的原因很明确：你的原始DataFrame里，同一个symbol+year_bin+metric的组合下有重复的行（比如GBPUSD在2025-1下的total_trades有两条记录，对应row0和row1），而pivot()方法要求index+columns的组合必须是唯一的，不然它不知道该选哪个值来填充，自然就抛出ValueError了。

先给你点出原始数据的问题核心：比如GBPUSD,2025-1,total_trades对应了两个value（11和14），pivot没法判断该取哪个，这就是矛盾根源。

那怎么解决呢？分两种常见场景给你落地的方案：

场景1：你想合并重复的记录（比如取均值、求和） #

如果这些重复行是可以聚合的（比如是同个交易标的不同子周期的统计，需要合并成一条），那先做分组聚合再pivot就好：

# 先按symbol、year_bin、metric分组，这里用mean做聚合，你可以换成sum/max/min等适合你的业务逻辑的方式
df_agg = df.groupby(['symbol', 'year_bin', 'metric'])['value'].mean().reset_index()
# 再执行pivot转换形状
df_pivot = df_agg.pivot(index=['symbol', 'year_bin'], columns='metric', values='value').reset_index()
# 去掉columns的层级名称，让表格结构更清爽
df_pivot.columns.name = None

这样得到的就是没有重复项的宽表，完全匹配你想要的输出结构。

场景2：你要保留所有重复行（每条row都是独立的有效数据） #

如果这些重复行是有业务意义的（比如row0和row1对应不同的交易策略、不同的账户），那别用pivot()，改用pivot_table()——它天生支持处理重复索引，还能灵活指定重复值的处理方式：

# 把原来的row列加入索引，确保每个索引组合是唯一的
df_pivot = df.pivot_table(
    index=['symbol', 'year_bin', 'row'],
    columns='metric',
    values='value',
    aggfunc='first'  # 这里用first保留每个组的第一个值，你也可以用lambda x:x来完整保留所有值
).reset_index()
# 清理列名的层级标识
df_pivot.columns.name = None
# 如果不需要row列，最后可以删掉它
df_pivot = df_pivot.drop('row', axis=1)

这个方法会完整保留你原始的所有行，同时把metric字段转成列，完美解决重复索引导致的报错问题。

另外，你也可以先检查下这些重复行是不是数据导入时产生的脏数据，如果是无效重复，直接用df.drop_duplicates(subset=['symbol', 'year_bin', 'metric'])去重后再pivot也是个快速的办法，但一定要确认这些重复行确实是无效的哦。

内容来源于stack exchange