You need to enable JavaScript to run this app. 如何检查DataFrame某列的每个单词是否存在于同表的多个列中
优惠活动
大模型
产品
解决方案
定价
更多

如何检查DataFrame某列的每个单词是否存在于同表的多个列中

Pandas 关键词列多列匹配解决方案

你遇到的两个问题(匹配结果为0、运行耗时过长)分别可以通过统一字符大小写、替换循环为向量化操作解决,完整实现代码如下:

基础实现(万级及以下数据量适用)

import pandas as pd

# 此处替换为你自己的数据源读取逻辑,示例为构造测试数据
df = pd.DataFrame({
    'Words': ['ANAND', 'Gujarat', 'PARDESHI', 'PARDESHI'],
    'Area': ['Whitefield', 'Koramangala', 'Electronic City', 'Anand Chowk'],
    'City': ['Abohar', 'Adilabad', 'Agartala', 'Agra'],
    'City2': ['Achalpur', 'Achhnera', 'Adalaj', 'Adilabad'],
    'States': ['Maharashtra', 'Uttar Pradesh', 'Gujarat', 'Telangana']
})

# 统一所有参与匹配的字符为小写,解决大小写不一致导致的0匹配问题
df['Words_tmp'] = df['Words'].str.lower()
match_cols = ['Area', 'City', 'City2', 'States']
for col in match_cols:
    df[f'{col}_tmp'] = df[col].str.lower()

# 逐行判断Words是否在目标列中,生成Result
df['Result'] = df.apply(
    lambda x: 'Place' if x['Words_tmp'] in [x[f'{col}_tmp'] for col in match_cols] else None,
    axis=1
)

# 清理临时列
df = df.drop(columns=[f'{col}_tmp' for col in match_cols] + ['Words_tmp'])

print(df)

高性能实现(十万级及以上数据量适用)

用numpy广播替换apply操作,速度可提升3-10倍,避免运行时间过长:

import pandas as pd
import numpy as np

# 读取数据逻辑同上,此处替换为你的数据读入代码
df = ... 

match_cols = ['Area', 'City', 'City2', 'States']
# 统一大小写后转为numpy数组做广播匹配
words_arr = df['Words'].str.lower().values[:, np.newaxis]
match_arr = df[match_cols].apply(lambda x: x.str.lower()).values

# 生成匹配掩码
match_mask = np.any(words_arr == match_arr, axis=1)
df['Result'] = np.where(match_mask, 'Place', None)

问题原因说明

  • 0匹配:绝大多数是字符大小写不一致导致的,比如Words列的ANAND和目标列的Anand会被pandas判定为不同值,统一转为全小写/全大写后可解决
  • 运行过慢:如果之前使用了Python原生循环逐行遍历(比如for i in range(len(df))),性能会比向量化操作低上百倍,优化为numpy/pandas内置的向量化操作后,百万级数据也能在几秒内跑完。

内容的提问来源于stack exchange,提问作者rick458

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 21:45:03