Pandas透视表多值列报错：重复索引问题解决方案咨询

为什么pivot会报错？ #

pivot要求index和columns的组合必须唯一，每个组合只能对应一个values值。当同一个Sample ID + Gene ID（或你代码里的Gene Name）对应多个Nucleotide Change时，就会触发ValueError: Index contains duplicate entries, cannot reshape——这种场景下pivot确实不再适用，需要换用支持聚合重复值的方法。

解决方案 #

方法1：用pivot_table聚合重复值 #

pivot_table支持通过aggfunc指定重复值的聚合逻辑，这里我们把同一基因下的多个突变用逗号拼接：

# 注意：需求是用Gene ID作为列，替换你原代码里的Gene Name
test_df.pivot_table(
    index='Sample ID',
    columns='Gene ID',
    values='Nucleotide Change',
    aggfunc=lambda x: ', '.join(x)
)

方法2：先分组聚合再重塑 #

先按Sample ID和Gene ID分组合并突变值，再用pivot生成单行表：

# 分组聚合同一基因的所有突变
agg_df = test_df.groupby(['Sample ID', 'Gene ID'])['Nucleotide Change'].agg(', '.join).reset_index()
# 重塑为目标格式
result = agg_df.pivot(index='Sample ID', columns='Gene ID', values='Nucleotide Change')

方法3：保留独立突变（添加列名后缀） #

如果不想合并突变，而是给同一基因的多个突变添加序号后缀（比如MTB000020_1、MTB000020_2）：

# 给每组重复项添加行号
test_df['gene_suffix'] = test_df.groupby(['Sample ID', 'Gene ID']).cumcount() + 1
# 拼接Gene ID与后缀作为新列名
test_df['Gene ID_with_suffix'] = test_df['Gene ID'] + '_' + test_df['gene_suffix'].astype(str)
# 执行重塑
result = test_df.pivot(index='Sample ID', columns='Gene ID_with_suffix', values='Nucleotide Change')

批量处理文件的修改建议 #

把处理逻辑封装成函数，批量处理目录下的所有文件：

def process_sample_df(df):
    agg_df = df.groupby(['Sample ID', 'Gene ID'])['Nucleotide Change'].agg(', '.join).reset_index()
    return agg_df.pivot(index='Sample ID', columns='Gene ID', values='Nucleotide Change')

# 批量处理所有注释文件
processed_dfs = {sid: process_sample_df(df) for sid, df in dfs['loci_Final_annotation'].items()}

# 查看单个样本结果
display(processed_dfs['18RF0375'])

内容的提问来源于stack exchange，提问作者natural_d