pandas迭代合并DataFrame时如何用非空值覆盖NaN避免重复行列

你需要的是按主键合并时自动填充空值、不拆列、不生成重复行的效果，pandas原生提供了向量化实现，性能远高于手动遍历，完全可以支持数千行、数千列的批量合并场景：

两个DataFrame合并方案 #

方案1：concat+分组聚合（推荐） #

直接拼接所有数据后按主键分组，自动提取每个列的第一个非空值，无需手动处理列名，支持任意数量的同名列：

import pandas as pd

# 示例数据
df12 = pd.DataFrame({'col1': ['a', 'b'], 'col2': ['c', pd.NA]})
df3 = pd.DataFrame({'col1': ['b'], 'col2': ['d']})

# 合并逻辑
df = pd.concat([df12, df3]).groupby('col1', as_index=False).first()

输出结果和预期完全一致：

方案2：索引对齐+combine_first #

将主键设为索引后调用combine_first方法，自动用后表的非空值覆盖前表的空值：

df12_idx = df12.set_index('col1')
df3_idx = df3.set_index('col1')
df = df12_idx.combine_first(df3_idx).reset_index()

多个DataFrame迭代合并方案 #

如果要合并的DataFrame数量较多，直接把所有待合并的DataFrame放入列表批量处理即可，无需逐个操作：

# 所有待合并的DataFrame放入列表
df_list = [df1, df2, df3, ..., dfn]

# 批量合并，同主键同列优先保留列表中靠前位置的非空值
final_df = pd.concat(df_list).groupby('col1', as_index=False).first()

*如果需要靠后的表优先级更高（同主键同列时，后表的非空值覆盖前表的值），将first()替换为last()即可。

原merge操作问题说明 #

pandas的merge接口本身没有提供自动合并同名列空值的参数，默认要么按所有同名列匹配生成重复行，要么按指定主键匹配拆分同名列，不适合该场景的需求。

内容的提问来源于stack exchange，提问作者Data4711