基于参考dataframe查找待校验dataframe缺失匹配项的方案咨询

核心思路是先把参考标准值转成集合（O(1)查找效率），再遍历待校验df的所有值判断是否在集合内，完全不需要考虑两个df的结构、行数、顺序是否匹配。

完整实现代码 #

import pandas as pd

# ---------------------- 1. 准备数据 ----------------------
# 参考标准州名df（实际使用时直接替换为你从CSV读取的df即可）
ref_df = pd.DataFrame({
    'state': ['Alabama', 'Alaska', 'Arizona', 'New York']
})
# 转成集合用于快速校验
valid_state_set = set(ref_df['state'])

# 待校验df（实际使用时直接替换为你从CSV读取的df即可）
check_df = pd.DataFrame({
    'column1': ['Arizona', 'New York', pd.NA],
    'column2': ['Washington', 'New York', 'Utah']
})

# ---------------------- 2. 生成结果（两种常用格式按需选择） ----------------------
# 方案A：输出结构化的无效条目列表，包含原行号、所属列、无效值，方便后续核对
invalid_records = []
for col_name in check_df.columns:
    for row_idx, value in check_df[col_name].items():
        # 若不需要将NaN判定为无效，可增加条件：pd.notna(value)
        if value not in valid_state_set:
            invalid_records.append({
                '原行索引': row_idx,
                '所属列': col_name,
                '无效值': value
            })
result_df = pd.DataFrame(invalid_records)

# 方案B：保留待校验df的原有行列结构，有效值替换为空，仅保留无效值
# result_df = check_df.where(~check_df.isin(valid_state_set))

示例输出（方案A） #

注意事项 #

• 集合查找的性能远高于直接遍历参考df，就算参考表有十万级以上的标准值也不会有性能问题
• 若需要排除NaN的无效判定，只需在判断逻辑中增加pd.notna(value)的条件即可
• 支持待校验df任意列数、任意行数，和参考表的结构完全解耦

内容的提问来源于stack exchange，提问作者Zunderding