Pandas无循环实现仅列值不同时合并更新DataFrame并提取不匹配项

实现代码 #

1. 批量更新df1的Type字段 #

将df2转为物种到类型的映射表，用pandas向量化操作直接赋值，无需循环：

# 构建Species到正确Type的映射关系
type_mapping = df2.set_index('Species')['Type']
# 直接批量更新df1的Type，相同值赋值无副作用，自动覆盖缺失、不匹配的旧值
df1['Type'] = df1['Species'].map(type_mapping)

如果df1存在df2没有的物种，不希望这部分Type被覆盖为NaN，可以用更稳妥的update方法：

df1 = df1.set_index('Species')
df1['Type'].update(df2.set_index('Species')['Type'])
df1 = df1.reset_index()

2. 获取Type不匹配的物种列表 #

通过关联两张表做对比筛选即可：

# 关联两个表拿到每个物种的两类Type值
compare_df = df1[['Species', 'Type']].drop_duplicates().merge(
    df2, on='Species', suffixes=('_old', '_new')
)
# 筛选不匹配场景：旧Type为空 或 新旧Type值不同
mismatch_species = compare_df.loc[
    compare_df['Type_old'].isna() | (compare_df['Type_old'] != compare_df['Type_new']),
    'Species'
].unique().tolist()

上述实现都是pandas原生向量化操作，性能比for循环高数十到数百倍，数据量越大优势越显著。

内容的提问来源于stack exchange，提问作者Agustin