如何解决Python中两个DataFrame文本匹配结果全为False的问题

核心问题 #

你用isin()匹配返回全False，本质是因为isin()是严格精确匹配——只有当df_all['Text']的内容和searc_term_df['Search Term']的内容完全一致（包括大小写、空格、字符长度、特殊符号）时，才会返回True。如果你的场景是「Text包含关键词」而非「Text完全等于关键词」，isin()就不适用。

具体解决办法 #

1. 改用模糊匹配（最常见场景） #

如果需求是判断Text中是否包含处理后的关键词，用str.contains()结合正则实现：

# 提取处理后的关键词列表
search_terms = searc_term_df['Search Term'].tolist()
# 转义关键词中的正则特殊字符（比如.、*、+），避免匹配出错
import re
escaped_terms = [re.escape(term) for term in search_terms]
# 合并为正则匹配模式，用|分隔多个关键词
search_pattern = '|'.join(escaped_terms)

# 执行模糊匹配，忽略大小写，空值标记为False
df_all['Match'] = df_all['Text'].str.contains(search_pattern, case=False, na=False)

2. 统一文本处理规则（精确匹配场景） #

如果确实需要精确匹配，必须确保两边文本的处理规则完全同步：

• 统一大小写：

  df_all['Text'] = df_all['Text'].str.lower()
  searc_term_df['Search Term'] = searc_term_df['Search Term'].str.lower()
  

• 去除所有空白字符（包括空格、换行、制表符）：

  df_all['Text'] = df_all['Text'].str.replace(r'\s+', '', regex=True)
  searc_term_df['Search Term'] = searc_term_df['Search Term'].str.replace(r'\s+', '', regex=True)
  

• 去除标点符号：

  df_all['Text'] = df_all['Text'].str.replace(r'[^\w\s]', '', regex=True)
  searc_term_df['Search Term'] = searc_term_df['Search Term'].str.replace(r'[^\w\s]', '', regex=True)
  

• 排查不可见字符：用repr()查看文本真实内容，对比两边差异：

  # 查看第一行Text的真实内容
  print(repr(df_all['Text'].iloc[0]))
  # 查看第一行关键词的真实内容
  print(repr(searc_term_df['Search Term'].iloc[0]))
  

3. 验证处理后的关键词 #

先确认关键词处理结果符合预期，避免处理过程中误删或篡改了有效内容：

print(searc_term_df['Search Term'].head(10))

内容的提问来源于stack exchange，提问作者Annisa Lianda