如何向量化过滤pandas DataFrame，替代apply实现指定条件行筛选

结论 #

可行，你写的写法报错是因为语法逻辑不对，调整后即可实现无apply的向量化筛选。

错误原因说明 #

你写的'J2' not in df['my_list']是判断'J2'是否是my_list列的一个独立元素，返回的是单个布尔值，不是逐行判断的布尔序列，无法用于布尔索引。

正确向量化写法 #

用pandas内置的Series.str成员检测方法实现逐行判断列表内是否包含目标值，正确写法如下：

res = df[(df['value'] == 'B') & (~df['my_list'].str.contains('J2'))]

运行后得到的结果和你用apply的输出完全一致：

value         my_list
4     B  [V13, X9, J1]

补充说明 #

这个方法是pandas原生向量化实现，性能比逐行apply高得多，数据量越大优势越明显。如果你的my_list列存在空值，可以给str.contains加na=False参数避免返回NaN导致索引报错，写法调整为df['my_list'].str.contains('J2', na=False)。

内容的提问来源于stack exchange，提问作者ProcolHarum