使用pandas concat合并数据集时出现Reindexing only valid with uniquely valued Index objects报错求助

你遇到的Reindexing only valid with uniquely valued Index objects报错，和你肉眼对比的“列名字符串完全一致”没有冲突关系——你提到的“两个数据集列名字符串完全匹配、其中一方列数更少”的场景，本身是pandas concat原生支持的场景，哪怕列数不对等，只要列名能匹配上，concat会自动对缺失的列补空值，不会因为列数少就触发报错。
这个报错的本质是参与合并的数据集存在非唯一的索引值，不管是列索引还是行索引，只要有重复的索引项，pandas在做对齐重索引操作时就会直接触发报错。很多时候肉眼逐字对比列名是匹配的，但没有检查pandas内部维护的索引结构是否存在重复登记的情况，比如同一个列名字符串在索引里被注册了两次，看起来列名和对方完全一致，实际索引本身不满足唯一性要求。

• 第一优先级：检查两个数据集的列索引唯一性
  分别运行以下代码校验：

  # 校验列索引是否唯一
  print(Merged_Data.columns.is_unique)
  print(df.columns.is_unique)
  

  只要任意一行返回False，就是列索引存在重复值，这是该报错最常见的触发原因。如果校验不通过，可以用如下逻辑给重复列名追加标识，保证列索引唯一：

  # 列索引去重处理
  def make_unique_cols(cols):
      col_count = {}
      unique_cols = []
      for col in cols:
          if col not in col_count:
              col_count[col] = 0
              unique_cols.append(col)
          else:
              col_count[col] += 1
              unique_cols.append(f"{col}_副本{col_count[col]}")
      return unique_cols
  
  Merged_Data.columns = make_unique_cols(Merged_Data.columns)
  df.columns = make_unique_cols(df.columns)
  

• 第二优先级：排查行索引的非唯一问题
  如果列索引校验通过后依然报错，再检查行索引的唯一性：

  # 校验行索引是否唯一
  print(Merged_Data.index.is_unique)
  print(df.index.is_unique)
  

  存在重复行索引时，直接重置索引即可快速消除问题：

  Merged_Data = Merged_Data.reset_index(drop=True)
  df = df.reset_index(drop=True)
  

• 合并操作优化
  完成上述排查修复后，执行合并代码时加上ignore_index=True参数，避免合并后行索引出现重复值，从流程上规避后续同类报错：

  Merged_Data = pd.concat([Merged_Data, df], ignore_index=True)
  

内容的提问来源于stack exchange，提问作者Suraj Suresh