如何在Pandas中删除包含指定列表元素的DataFrame行？

针对你10万行的大型数据集，直接用逐行apply肯定会慢到让人崩溃，我来给你推荐几个高效的向量化解决方案，先从示例场景说起：

示例场景 #

假设我们有这样两个DataFrame：

import pandas as pd

# 主数据集（10万行的简化版）
df_main = pd.DataFrame({
    'id': [1, 2, 3, 4, 5],
    'list_col': [[10, 20], [30, 40], [20, 50], [60, 70], [80, 20]]
})

# 参考数据集：包含需要排查的元素
df_ref = pd.DataFrame({'target_val': [20]})

预期结果：删除list_col中包含20的行，最终得到：

id  list_col
1   2  [30, 40]
3   4  [60, 70]

你可能踩过的坑：低效的逐行处理 #

如果之前你用了类似下面的apply方法，在10万行数据上会非常耗时，因为它是逐行遍历，每次还要做集合查找：

# 不推荐：10万行下速度极慢
mask = df_main['list_col'].apply(lambda x: any(val in df_ref['target_val'].values for val in x))
df_filtered = df_main[~mask]

高效解决方案：利用向量化操作 #

核心思路是用pandas的原生向量化方法替代逐行遍历，把列表展开后批量判断，再聚合回原行：

方案1：基于explode的分组判断（推荐） #

这个方法利用了pandas的向量化优势，性能比apply提升几十倍：

# 1. 把参考数据集的元素转成集合（O(1)查找效率）
ref_set = set(df_ref['target_val'].unique())

# 2. 展开list_col列，标记每个元素是否匹配参考值
exploded_df = df_main.reset_index().explode('list_col')
exploded_df['is_match'] = exploded_df['list_col'].isin(ref_set)

# 3. 按原索引分组，判断该行是否存在匹配元素
has_match = exploded_df.groupby('index')['is_match'].any()

# 4. 筛选出没有匹配的行
df_filtered = df_main[~has_match]

方案2：利用numpy的向量化判断（备选） #

如果你的列表长度比较均匀，也可以用numpy来加速：

import numpy as np

ref_arr = df_ref['target_val'].unique()
# 把列表列转成numpy数组的数组
list_arr = np.array(df_main['list_col'].tolist(), dtype=object)

# 批量判断每个列表是否包含参考元素
mask = np.array([np.isin(lst, ref_arr).any() for lst in list_arr])
df_filtered = df_main[~mask]

不过这个方法在列表长度差异大时，性能不如方案1稳定。

性能提示 #

• 一定要把参考值转成集合（方案1）或者numpy数组（方案2），避免每次判断都遍历整个df_ref
• 10万行数据下，方案1的处理时间通常在几秒内，而apply方法可能需要几分钟甚至更久
• 如果list_col中的列表特别长，explode后内存占用会增加，但10万行级别的数据完全在常规机器的承载范围内

内容的提问来源于stack exchange，提问作者qrs