DataFrame透视报错含重复项，如何定位引发错误的行？

• 明确检查对象：注意pivot报错的是指定索引列的组合存在重复，而非整个DataFrame的重复行。先确认你调用pivot时index参数对应的列名列表，比如df.pivot(index=['colA', 'colB'], ...)，要检查的是colA+colB的组合是否重复。

• 筛选重复索引组合：针对索引列组合分组计数，直接找出重复的分组：

# 替换成你pivot时用的索引列名
index_cols = ['colA', 'colB']
# 分组统计每个索引组合的出现次数
dup_groups = df.groupby(index_cols).size().reset_index(name='出现次数')
# 筛选出出现次数>1的组合
dup_groups = dup_groups[dup_groups['出现次数'] > 1]
print(dup_groups)

• 提取对应重复行：根据上面找到的重复组合，筛选出DataFrame中所有相关行，就能看到具体触发错误的内容：

# 合并筛选出所有重复索引组合对应的行
dup_rows = df.merge(dup_groups[index_cols], on=index_cols)
print(dup_rows)

• 排查隐形差异：如果看起来值完全一致但仍报错，大概率是隐形字符或数据类型不一致导致的：
  • 检查字符串型索引列是否有首尾空格：

    df['colA'].apply(len).value_counts()  # 查看字符串长度是否有差异
    

  • 统一字符串格式后再检查：

    df_clean = df.copy()
    for col in index_cols:
        if df_clean[col].dtype == object:
            df_clean[col] = df_clean[col].str.strip()
    # 再次检查重复组合
    df_clean.groupby(index_cols).size().reset_index(name='count').query('count>1')
    

  • 检查索引列的数据类型是否统一：

    df[index_cols].dtypes
    

内容的提问来源于stack exchange，提问作者Andi3579