执行pd.concat合并DataFrame时出现额外列如何解决

pd.concat()做行拼接时是按列名做精确对齐的，只要两个待合并DataFrame的列名存在非完全一致的情况——最常见的是列名首尾带空格、混入不可见特殊字符、全角/半角字符差异、大小写不一致——拼接时就会把名称有差异的列识别为独立列，最终生成额外的冗余列，和你遇到的现象一致。

先执行以下代码可以快速定位列名的具体差异：

# 打印两边列名原始值，排查肉眼容易忽略的差异
print("df1 列名:", [repr(col) for col in df1.columns])
print("df2 列名:", [repr(col) for col in df2.columns])

# 直接输出两边列名的差集，精准定位不匹配项
print("df1独有列:", set(df1.columns) - set(df2.columns))
print("df2独有列:", set(df2.columns) - set(df1.columns))

这里用repr()包裹列名打印，是为了把空格、换行、制表符这类不可见字符直接显示出来，避免肉眼漏看。

• 方案1：统一清洗列名后再拼接（推荐）
  这是最稳妥的处理方式，先把两边列名的格式做标准化，从根源消除列名差异：

  # 去除列名首尾的空白字符（空格、制表符、换行等）
  df1.columns = df1.columns.str.strip()
  df2.columns = df2.columns.str.strip()
  
  # 按需补充其他清洗规则，比如统一小写、替换全角字符
  # df1.columns = df1.columns.str.lower()
  # df2.columns = df2.columns.str.lower()
  
  # 列名完全一致后再执行拼接
  df = pd.concat([df1, df2], ignore_index=True, sort=False)
  

• 方案2：强制对齐列名（仅适用于两边列顺序、列含义完全对应的场景）
  如果你确认两个DataFrame的列顺序、每列的业务含义完全一致，只是列名存在字符差异，可以直接强制统一列名后拼接：

  # 用df1的列名覆盖df2的列名，确保列名100%匹配
  df2.columns = df1.columns
  df = pd.concat([df1, df2], ignore_index=True, sort=False)
  

注意：不要跳过列名校验直接拼接，否则如果两边列顺序不一致，强制对齐列名会导致数据错位，引发后续数据分析错误。

内容的提问来源于stack exchange，提问作者darklord321