Python拼接主DataFrame与虚拟DataFrame后出现NaN值问题

两个本身无NaN值的DataFrame拼接后出现空值，本质是拼接过程中行列匹配逻辑触发了pandas的自动空值填充，常见触发场景有三类：

• 横向拼接（axis=1的pd.concat操作）时两个DataFrame索引不对齐：哪怕两个表行数完全一致，只要索引值不一一对应，pandas就会把索引匹配失败的位置填为NaN
• 关联合并（pd.merge操作）时关联键不匹配：两个表用来做连接的字段值不完全重合，未匹配到的行对应字段会被填充为NaN
• 列名存在隐性差异：两个表中含义相同的列存在大小写差异、首尾空格、命名不一致问题时，pandas会将其识别为两个独立列，其中一个列对应另一表的所有行都会显示为NaN

1. 针对横向拼接场景，先重置两个DataFrame的索引，丢弃原有不匹配的索引值后再执行拼接：

df1 = df1.reset_index(drop=True)
df2 = df2.reset_index(drop=True)
merged_df = pd.concat([df1, df2], axis=1)

2. 针对merge关联场景，先检查关联键的重合度，如果只需要两个表都能匹配上的数据，将连接方式设置为内连接即可避免非匹配行产生的空值：

# 假设用id字段作为关联键
merged_df = pd.merge(df1, df2, on='id', how='inner')

3. 排查列名一致性，打印两个表的列名确认是否存在隐性命名差异，统一列名后再拼接：

print(df1.columns.tolist())
print(df2.columns.tolist())

4. 拼接完成后做一次空值校验和清理，确认无空值后再输入线性回归模型即可避免报错：

# 校验每列空值数量
print(merged_df.isna().sum())

# 按需选择空值处理方式：删除空值行 或者 用统计值填充
cleaned_df = merged_df.dropna(axis=0)
# 数值场景也可选择均值填充：cleaned_df = merged_df.fillna(merged_df.mean(numeric_only=True))

问题相关截图

内容的提问来源于stack exchange，提问作者Faiz Anwar