使用pd.concat拼接不同行数DataFrame出现异常的原因排查

以下是实际项目中用pd.concat拼接结构相似DataFrame却出现异常的常见诱因：

• 索引重复或非唯一：若两个DataFrame的索引存在重复值，pd.concat默认保留原索引，拼接后可能出现索引混乱，甚至导致后续操作报错。比如其中一个DataFrame的索引是重复整数序列，拼接后索引不会自动重置，看起来像是数据错位。
• 列名隐性不一致：看似结构类似，但列名可能存在大小写差异（如"Name"和"name"）、空格（如"Age "和"Age"），或是列的dtype不一致（比如同列名一个是int类型一个是object类型），这些隐性差异会导致拼接后出现额外列，或数据被填充为NaN。
• 参数设置偏差：实际项目中可能误改了pd.concat的默认参数，比如设置join='inner'（默认是outer）导致只保留共同列；或是设置axis=1（默认是0）变成横向拼接而非纵向，结果自然不符合预期。
• 存在隐藏多级索引：若其中一个DataFrame被误设置了多级索引（MultiIndex），即使列名看起来一致，拼接后也会出现结构异常，比如列名变为元组形式。
• 数据含特殊干扰值：部分数据行存在极端值、空值或不可见字符，导致pd.concat在对齐时出现异常，尤其数据从外部文件（如CSV、Excel）读取时，这类隐性问题更常见。

若能提供实际项目中两个DataFrame的结构信息（比如df.info()、df.columns的输出），以及拼接时的参数和异常结果示例，可更精准定位问题。

内容的提问来源于stack exchange，提问作者Skobo Do