基于ID匹配使用校正dataframe批量替换原dataframe多列观测值

你可以直接使用pandas内置的DataFrame.update()方法实现需求，这是当前场景下效率最高的方案，无需做全量merge操作，仅针对匹配到的ID和对应字段做局部更新，天然符合「仅替换校正表非空值、保留其余原始值」的规则。

具体代码实现 #

import pandas as pd

# 预处理：将两个表的ID设置为索引，实现自动按ID对齐
df_original = df_original.set_index('ID')
df_correction = df_correction.set_index('ID')

# 执行更新：自动用校正表的非空值覆盖原始表同ID同字段的取值，未匹配ID、校正表不存在的字段均不受影响
df_original.update(df_correction)

# 若需要将ID恢复为普通列，执行以下操作
df_result = df_original.reset_index()

方案说明 #

1. 逻辑完全匹配需求：update方法默认仅使用校正表的非空值进行覆盖，校正表为空的位置会保留原始表的取值，无需额外做空值判断和填充
2. 效率远高于merge：不需要做全表拼接和字段重命名、合并逻辑处理，按索引对齐的更新操作时间复杂度极低，千行级数据量下可以瞬时完成
3. 注意事项：如果校正表存在重复ID的情况，需要先按业务规则去重，比如保留最新的校正记录：

df_correction = df_correction.drop_duplicates('ID', keep='last')

内容的提问来源于stack exchange，提问作者Vanessa Pineda