Pandas透视表转换报错：解决重复索引引发的ValueError问题

问题描述 #

原始DataFrame：

Groups Species Value 
G1     SP1     YES
G1     SP2     YES
G1     SP3     NO
G1     SP4     YES
G2     SP1     NO
G2     SP2     NO
G2     SP4     YES
G3     SP1     YES
G3     SP2     YES
G4     SP1     NO

期望转换后的透视表格式：

Species  G1  G2  G3  G4
SP1      YES NO  YES NO
SP2      YES NO  YES NA
SP3      NO  NA  NA  NA
SP4      YES YES NA  NA

执行代码时报错：

df.pivot(columns='Groups',index='Species',values=Value)

错误信息：

ValueError: Index contains duplicate entries, cannot reshape

报错原因 #

1. 语法错误：代码中values=Value未给列名加引号，Pandas会将Value视为变量而非列名，直接引发错误（若未定义过Value变量）。
2. 重复条目冲突：pivot()方法要求index+columns的组合必须唯一，若原始数据中存在同一物种对应同一分组的多条记录，就会触发该报错。

解决方法 #

方法1：修正语法并确认无重复条目 #

如果确认(Species, Groups)组合唯一，先修正代码中列名的引号问题：

df.pivot(columns='Groups', index='Species', values='Value')

方法2：用pivot_table处理重复条目 #

如果数据中存在重复的(Species, Groups)组合，使用pivot_table通过聚合函数处理重复值，比如取第一个出现的值：

df.pivot_table(columns='Groups', index='Species', values='Value', aggfunc='first')

执行上述任一方法后，即可得到期望的透视表结果，缺失位置会自动填充为NaN（对应示例中的NA）。

内容的提问来源于stack exchange，提问作者chippycentra