如何在Pandas中比较两DataFrame列并返回df_1的不匹配值？

核心思路是先对两列字符串做标准化处理（统一格式，消除大小写、空格差异），再进行匹配筛选。

步骤说明 #

1. 处理df_2的目标列：去除所有空格、转小写，生成匹配参考集合（集合的查找效率远高于Series）
2. 处理df_1的目标列：执行相同的标准化操作，筛选出标准化后不在参考集合里的原始值

代码实现 #

import pandas as pd

# 创建示例DataFrame
df_1 = pd.DataFrame({"column_1": ["A45", "kl24", "mhg", "tz22"]})
df_2 = pd.DataFrame({"column_2": ["KL24", "tz22", "mhg", "A 45"]})

# 对df_2的列做标准化处理，生成参考集合
standardized_df2 = df_2["column_2"].str.replace(" ", "").str.lower()
match_set = set(standardized_df2)

# 筛选df_1中未匹配的原始值
unmatched_values = df_1[
    ~df_1["column_1"].str.replace(" ", "").str.lower().isin(match_set)
]["column_1"].tolist()

print(unmatched_values)  # 输出: ['A45', 'kl24']

补充说明 #

• 如果需要处理其他字符差异（如下划线、连字符），可扩展str.replace()的规则，比如用str.replace(r"[\s_-]", "")同时去除空格、下划线和连字符
• 若数据量极大，可改用numpy优化处理速度，上述方法在多数场景下已足够高效

内容的提问来源于stack exchange，提问作者ar_mm18