pandas使用pivot时如何将year同时作为索引和列避免重复索引报错

你遇到的重复索引报错本质是真实业务数据中，你指定的['position', 'name']索引组合，在同一个year下存在多条重复记录，原生pivot无法处理重复的「索引+列」匹配对，因此抛出错误。

要实现year同时作为索引和列的需求，可根据你的业务场景选择以下两种方法：

场景1：重复数据可聚合（多数业务场景适用） #

用pivot_table替代pivot，指定重复值的聚合规则，完成透视后将year加入行索引即可。
示例数据构造代码：

import pandas as pd
data=pd.DataFrame({
    'year':[2010,2010,2010,2011,2011,2011],
    'position':[1,2,3,1,2,3],
    'name':['a','a','b','c','c','d'],
    'points':[34,36,32,14,15,16],
    'team':['A','B','C','C','B','A'],
    'venue':['ny','ny','ny','cali','cali','cali']
})

核心实现代码：

# 1. 透视处理，aggfunc可根据业务替换为mean、max、first等
pivot_df = data.pivot_table(
    index=['position', 'name'],
    columns='year',
    values='points',
    aggfunc='sum'
).reset_index()

# 2. 将year加入行索引，实现year同时在索引和列
# 方案A：索引保留所有年份维度，适合按年份筛选行的场景
final_df = pivot_df.set_index('year', append=True).swaplevel(0,2)

# 方案B：索引只保留当前行对应的年份，适合需要每行单独对应一个年份的场景
melt_df = pivot_df.melt(id_vars=['position','name'], var_name='year', value_name='points')
final_df = melt_df.set_index(['position','name','year']).assign(**{y: melt_df['points'] for y in melt_df['year'].unique()})

场景2：需要保留所有原始行，不做聚合 #

如果重复的行都是有效业务数据，不需要聚合，可以先加辅助列区分重复的组合，再做透视：

# 新增辅助列标记同一索引+年份组合下的重复行顺序
data['dup_mark'] = data.groupby(['position', 'name', 'year']).cumcount()

# 透视时将辅助列和year都加入索引，避免重复报错
pivot_df = data.pivot(
    index=['position', 'name', 'dup_mark', 'year'],
    columns='year',
    values='points'
).droplevel('dup_mark') # 不需要辅助列可直接删除该层级

注意事项 #

• 聚合规则aggfunc请根据实际业务需求选择，重复数据是录入冗余的话选first/last即可，需要统计汇总的话选sum/mean。
• 两种场景的最终输出都满足year同时存在于行索引和列的需求。

内容的提问来源于stack exchange，提问作者sra