pd.concat合并同名列DataFrame间歇性触发InvalidIndexError问题排查

报错InvalidIndexError: Reindexing only valid with uniquely valued Index objects的核心原因是列A存在重复值：

• 执行set_index('A')时，若列A包含重复条目，生成的索引会是非唯一索引。
• pd.concat按列合并时，要求参与合并的DataFrame索引必须唯一，否则无法安全对齐行数据，因此只有当数据变化导致列A出现重复值时才会触发报错，这也是错误“间歇性出现”的原因。

根据列A是否允许重复，提供两种针对性方案：

方案1：列A应唯一（清理重复值后合并） #

如果列A本应是唯一标识（如主键），先清理两个DataFrame中的重复值，再执行合并：

import pandas as pd

# 清理重复值，保留每条A对应的最后一条记录（可根据需求改为keep='first'）
adf_clean = adf.drop_duplicates(subset='A', keep='last').set_index('A')
bdf_clean = bdf.drop_duplicates(subset='A', keep='last').set_index('A')

# 按列合并，保留层级列名
df_all = pd.concat([adf_clean, bdf_clean], axis='columns', keys=['cur', 'new'])

方案2：列A允许重复（保留所有行的对比） #

如果列A存在重复是正常业务场景，改用pd.merge实现合并，它支持非唯一索引的行对齐：

import pandas as pd

# 按列A全外连接，用后缀区分新旧数据
df_merged = pd.merge(adf, bdf, on='A', how='outer', suffixes=('_cur', '_new'))

# 可选：将列转换为层级结构，模拟原concat的keys效果
multi_cols = []
for col in adf.columns:
    if col == 'A':
        multi_cols.append(('', 'A'))
    else:
        multi_cols.append(('cur', col))
        multi_cols.append(('new', col))

df_merged.columns = pd.MultiIndex.from_tuples(multi_cols)
df_all = df_merged.set_index(('', 'A'))

方案3：透视法合并（灵活保留所有原始数据） #

先给两个DataFrame添加来源标识，合并后透视生成对比结构：

import pandas as pd
import numpy as np

adf['source'] = 'cur'
bdf['source'] = 'new'

# 合并所有行
combined = pd.concat([adf, bdf], axis=0)

# 透视生成层级列对比表
df_all = combined.pivot(index='A', columns='source')
# 填充缺失值（根据需求选择填充方式）
df_all = df_all.fillna(np.nan)

内容的提问来源于stack exchange，提问作者Uday T