Pandas按轴1拼接多文件时报Reindexing唯一索引错误怎么解决

你判断的完全准确，这个Reindexing only valid with uniquely valued Index objects报错，在你当前的代码场景下，是因为设置的四列复合索引（POS/CHROM/REF/ALT）在单个参与拼接的DataFrame中存在重复值。
当你用pd.concat(..., axis=1)做横向拼接时，Pandas需要先基于所有传入DataFrame的索引做对齐重排，一旦某个DataFrame的索引存在重复值，重排操作就会直接触发这个报错。

第一步：先定位重复索引的来源 #

在拼接代码之前先加一段校验逻辑，快速找到哪个文件存在重复的复合索引：

for file in all_files:
    tmp_df = pd.read_csv(file, sep='\t').set_index(['POS', 'CHROM', 'REF', 'ALT'])
    dup_count = tmp_df.index.duplicated().sum()
    if dup_count > 0:
        print(f"文件 {file} 存在 {dup_count} 条重复复合索引，重复行样例：")
        print(tmp_df[tmp_df.index.duplicated(keep=False)].head())

第二步：按实际业务场景选择解决方式 #

场景1：重复索引是数据错误 #

如果重复行是文件生成时的冗余错误，本不该存在同一个四元组对应多行的情况，直接在设置索引前去重即可：

my_dfs = [
    pd.read_csv(file, sep='\t')
    # 按复合索引列去重，keep参数可按需选保留第一次/最后一次出现的行
    .drop_duplicates(subset=['POS', 'CHROM', 'REF', 'ALT'], keep='first')
    .set_index(['POS', 'CHROM', 'REF', 'ALT'])
    for file in all_files
]
# 后续拼接、重置索引逻辑保持不变
df = pd.concat(my_dfs, axis=1)

场景2：重复索引是合理业务数据 #

如果同一个POS/CHROM/REF/ALT组合本身就会对应多条记录（比如多版本注释、多属性标注），不能直接删除重复行，可以给复合索引增加一层行序号层级，把非唯一索引转成唯一的多级索引：

my_dfs = []
for file in all_files:
    tmp_df = pd.read_csv(file, sep='\t').set_index(['POS', 'CHROM', 'REF', 'ALT'])
    # 按原复合索引分组生成行序号，拼接为新的索引层级
    row_seq = tmp_df.groupby(level=tmp_df.index.names).cumcount()
    tmp_df.index = pd.MultiIndex.from_frame(
        pd.DataFrame(tmp_df.index.tolist(), index=tmp_df.index).assign(row_id=row_seq)
    )
    my_dfs.append(tmp_df)
df = pd.concat(my_dfs, axis=1)

场景3：拼接方向用错 #

如果你实际的需求是把所有文件的行纵向堆叠到一起，不需要按POS/CHROM这类列做横向对齐，完全不需要设置复合索引，直接修改拼接逻辑即可：

# 不手动设置复合索引，直接读取所有文件纵向拼接，自动重置行号
my_dfs = [pd.read_csv(file, sep='\t') for file in all_files]
df = pd.concat(my_dfs, axis=0, ignore_index=True)
result_df = df.fillna('.')

• 不要等拼接时报错才检查索引唯一性，读取每个文件后先做一次index.is_unique的判断，能减少很多排查成本
• 如果校验时发现单个文件的索引是唯一的，但还是报这个错，检查下所有文件的四列数据类型是不是完全一致（比如某文件里POS列被读成浮点数，其他文件是整数，会导致索引匹配异常）

内容的提问来源于stack exchange，提问作者user3224522