Pandas DataFrame行列转换报错：索引重复无法重塑

问题场景 #

• 需对Pandas DataFrame执行行列转换（不确定用transpose、pivot还是melt）
• 示例数据结构：2个参考项（ref），每个对应4个步骤（step）、3个变量（var_1/var_2/var_3）
• 在示例数据上使用pivot()或pivot_wider()可成功转为目标格式，但实际DataFrame执行时触发报错：

  ValueError: Index contains duplicate entries, cannot reshape

报错原因 #

报错核心是用于构建行索引的唯一标识组合（比如ref+step）存在重复值。Pandas的pivot()/pivot_wider()要求转换后每行的索引必须唯一，当原始数据中同一标识组合对应多条记录时，就会无法完成重塑。

解决方法 #

1. 定位重复的唯一ID：
   用以下代码找出重复的标识组合（假设唯一标识是ref和step的组合）：

   # 筛选出所有重复的行
   duplicate_rows = df[df.duplicated(subset=['ref', 'step'], keep=False)]
   print(duplicate_rows)
   

2. 修复重复数据：
   根据业务逻辑处理重复项，常见方式包括：
   • 删除重复行（保留第一条）：df = df.drop_duplicates(subset=['ref', 'step'], keep='first')
   • 聚合重复行的数值（比如对变量列取均值、求和或保留首个值）：

     df = df.groupby(['ref', 'step']).agg(
         {'var_1': 'mean', 'var_2': 'sum', 'var_3': 'first'}
     ).reset_index()
     

3. 重新执行行列转换：
   修复重复后，再次调用pivot()或pivot_wider()即可正常完成转换。

内容的提问来源于stack exchange，提问作者chris_olv