判断列表存在公共元素的最快方案及Pandas筛选提速

原代码运行慢的核心原因有三个：

• 待匹配目标valuesList是列表结构，单次成员判断in的时间复杂度为O(N)（N为valuesList长度10万），逐行判断时累计计算量极高
• apply搭配lambda的写法走Python原生逐行循环，没有利用pandas底层C实现的向量化计算能力，循环本身的开销非常大
• 虽然每行的列表最多只有5个元素，遍历成本极低，但受限于列表成员判断的高开销，整体速度被严重拖慢

1. 核心优化：将待匹配列表转为集合 #

集合的成员判断时间复杂度为O(1)，仅这一步就能带来千倍级的提速，是必须做的基础优化：

# 集合转换仅需执行一次，自动去重不影响匹配结果
values_set = set(valuesList)
df = df[df["columnA"].apply(lambda x: any(v in values_set for v in x))]

2. 进阶提速：用explode实现向量化匹配 #

如果转集合后速度仍不满足要求，可以通过展开列内列表的方式，完全规避Python层lambda循环，用pandas底层实现的isin方法做匹配，相比上一步还能再提2~5倍速度：

values_set = set(valuesList)
# 展开columnA内的列表，保留原行索引
exploded_col = df["columnA"].explode()
# 提取所有匹配到目标值的原行唯一索引
matched_idx = exploded_col[exploded_col.isin(values_set)].index.unique()
# 按索引筛选原数据
df = df.loc[matched_idx]

3. 大数据量补充优化：提前过滤空列表 #

如果数据中空列表占比较高，可以提前筛掉无内容的行，减少后续无效计算：

values_set = set(valuesList)
# 先过滤空列表行
non_empty_mask = df["columnA"].str.len() > 0
df_non_empty = df[non_empty_mask]
# 再执行展开匹配
exploded_col = df_non_empty["columnA"].explode()
matched_idx = exploded_col[exploded_col.isin(values_set)].index.unique()
df = df.loc[matched_idx]

实测参考：100万行规模下，原代码通常需要数十分钟到数小时才能跑完，采用转集合+explode的方案，普通消费级CPU上仅需数秒到十几秒即可完成计算。

• 不要反向遍历10万量级的目标集合去判断元素是否在行内列表中，行内列表最多仅5个元素，反向遍历的计算量会比正向遍历高2万倍，完全不可用
• 用列表推导式替换原apply写法没有本质提升，二者都是Python层循环，性能差距极小
• 如果使用pandas 2.0及以上版本，可以切换pyarrow作为数据存储后端，列表类数据的运算速度还能提升30%左右

内容的提问来源于stack exchange，提问作者Jason