Pandas如何用新数据替换含缺失值的匹配旧行，替代低效循环方案

高效实现方案 #

核心逻辑是将内层逐行匹配的Python循环替换为pandas矢量化操作，仅外层遍历新增数据（通常新增数据量远小于历史数据量），性能提升非常明显。

实现代码

import pandas as pd
import numpy as np

# 核心逻辑
for _, new_row in newdata.iterrows():
    # 标记旧数据每行的空值位置
    na_mask = df.isna()
    # 旧行空值位置替换为新行对应值后，和新行全量比较，自动忽略空值列的匹配
    match_mask = (df.where(~na_mask, new_row) == new_row).all(axis=1)
    # 批量替换所有匹配到的旧行
    df.loc[match_mask] = new_row.values

# 追加新数据后去重
df = pd.concat([df, newdata], axis=0).drop_duplicates().reset_index(drop=True)

逻辑说明

• 完全适配任意列存在NaN的场景，不需要提前指定匹配列
• 空值列自动跳过比对：df.where(~na_mask, new_row)会把旧行的空值替换为新行对应值，比较时这些位置默认相等，相当于仅比对旧行的非空列
• 仅外层遍历新增数据，内层匹配为全矢量化操作，十万级以上大表也可以秒级处理

运行后输出结果和你期望的效果完全一致：

shelf jar_lid_color jar_material jar_owner  size
0      1           red        glass     David    20
1      1           NaN        glass       Bob    12
2      2          blue      plastic     Oscar     7
3      2         green          NaN     Julia    19
4      1          pink      plastic     Peter     9

内容的提问来源于stack exchange，提问作者dontic