如何检查DataFrame某列的每个单词是否存在于同表的多个列中
Pandas 关键词列多列匹配解决方案
你遇到的两个问题(匹配结果为0、运行耗时过长)分别可以通过统一字符大小写、替换循环为向量化操作解决,完整实现代码如下:
基础实现(万级及以下数据量适用)
import pandas as pd # 此处替换为你自己的数据源读取逻辑,示例为构造测试数据 df = pd.DataFrame({ 'Words': ['ANAND', 'Gujarat', 'PARDESHI', 'PARDESHI'], 'Area': ['Whitefield', 'Koramangala', 'Electronic City', 'Anand Chowk'], 'City': ['Abohar', 'Adilabad', 'Agartala', 'Agra'], 'City2': ['Achalpur', 'Achhnera', 'Adalaj', 'Adilabad'], 'States': ['Maharashtra', 'Uttar Pradesh', 'Gujarat', 'Telangana'] }) # 统一所有参与匹配的字符为小写,解决大小写不一致导致的0匹配问题 df['Words_tmp'] = df['Words'].str.lower() match_cols = ['Area', 'City', 'City2', 'States'] for col in match_cols: df[f'{col}_tmp'] = df[col].str.lower() # 逐行判断Words是否在目标列中,生成Result df['Result'] = df.apply( lambda x: 'Place' if x['Words_tmp'] in [x[f'{col}_tmp'] for col in match_cols] else None, axis=1 ) # 清理临时列 df = df.drop(columns=[f'{col}_tmp' for col in match_cols] + ['Words_tmp']) print(df)
高性能实现(十万级及以上数据量适用)
用numpy广播替换apply操作,速度可提升3-10倍,避免运行时间过长:
import pandas as pd import numpy as np # 读取数据逻辑同上,此处替换为你的数据读入代码 df = ... match_cols = ['Area', 'City', 'City2', 'States'] # 统一大小写后转为numpy数组做广播匹配 words_arr = df['Words'].str.lower().values[:, np.newaxis] match_arr = df[match_cols].apply(lambda x: x.str.lower()).values # 生成匹配掩码 match_mask = np.any(words_arr == match_arr, axis=1) df['Result'] = np.where(match_mask, 'Place', None)
问题原因说明
- 0匹配:绝大多数是字符大小写不一致导致的,比如
Words列的ANAND和目标列的Anand会被pandas判定为不同值,统一转为全小写/全大写后可解决 - 运行过慢:如果之前使用了Python原生循环逐行遍历(比如
for i in range(len(df))),性能会比向量化操作低上百倍,优化为numpy/pandas内置的向量化操作后,百万级数据也能在几秒内跑完。
内容的提问来源于stack exchange,提问作者rick458
相关产品推荐
相关产品推荐

