如何通过匹配ID,用同列结构的DataFrame填充缺失值?
用df2填充df1缺失值并保留所有ID的解决方案
当然可以实现你的需求!你之前用merge丢失未匹配ID,是因为默认的merge操作(内连接)只会保留两边都有的ID。下面给你两种实用的方法,既能按ID匹配填充缺失值,又能完整保留df1里的所有记录:
方法1:左连接+手动填充
先通过左连接保留df1的所有行,再针对共同列用df2的值填充df1的缺失项:
# 左连接df1和df2,用后缀区分同名列 merged_df = df1.merge(df2, on='ID', how='left', suffixes=('_df1', '_df2')) # 遍历所有df1的非ID列,用df2对应列的非空值填充 for col in df1.columns: if col != 'ID' and f"{col}_df2" in merged_df.columns: merged_df[col] = merged_df[col].fillna(merged_df[f"{col}_df2"]) # 提取原df1的列,得到最终结果 final_df = merged_df[df1.columns]
方法2:用combine_first(更简洁)
pandas的combine_first方法专门用来做这种“用另一个DataFrame的非缺失值填充当前DataFrame缺失值”的操作,配合索引对齐更高效:
# 将两个DataFrame都设置ID为索引,然后填充 final_df = df1.set_index('ID').combine_first(df2.set_index('ID')).reset_index()
这个方法会自动按ID匹配,用df2的非缺失值覆盖df1的缺失值,同时完全保留df1的所有ID和原有非缺失数据。
注意事项
- 确保两个DataFrame的
ID列数据类型一致(比如都是字符串或整数),否则可能出现匹配失败的情况; - 如果df2里有df1没有的列,方法2会把这些列也保留下来,要是不需要的话,可以手动筛选回df1的列。
内容的提问来源于stack exchange,提问作者C. Denney
相关产品推荐
相关产品推荐

