如何高效筛选Pandas DataFrame列表列匹配指定列表(子集/超集/并集)的行
问题核心原因
你对map()函数的运行逻辑理解存在偏差,这是导致结果异常的核心原因:map(func, iter1, iter2)会按位置依次取两个可迭代对象的元素配对传入func执行,当任意一个可迭代对象元素耗尽时就停止运行,并不是你以为的「将x的每个元素和gradeList的所有元素逐一比较」。
举个实际运行的例子:
当行数据的grades值为[9,10],你的查询gradeList为[10,9]时,map实际只会执行两次比较:9==10、10==9,两次结果都为假,any()返回假,导致这条符合预期的数据被漏筛,这就是筛选结果受gradeList元素顺序影响的根本原因。
另外你提供的代码存在语法疏漏:x gradeList之间缺少逗号分隔,正确写法应为x, gradeList。
正确实现方案
所有匹配场景都推荐优先将查询列表转为集合,元素存在性查询效率远高于列表:
target = {9,10} # 你的查询列表转成集合
任意匹配(只要grades包含查询列表中任意一个元素就命中,也就是你的需求)
两种写法逻辑一致,选你更容易理解的即可:
# 写法1:集合交集判断,性能更高 mask = df.grades.apply(lambda x: not set(x).isdisjoint(target)) # 写法2:推导式判断,逻辑更直观 mask = df.grades.apply(lambda x: any(item in target for item in x))
其他常用匹配场景实现
- 超集匹配:行grades包含所有查询列表中的元素
mask = df.grades.apply(lambda x: set(x).issuperset(target))
- 子集匹配:行grades的所有元素都在查询列表中
mask = df.grades.apply(lambda x: set(x).issubset(target))
- 完全匹配:行grades和查询列表元素完全一致,不考虑顺序
mask = df.grades.apply(lambda x: set(x) == target)
大数据量高性能优化方案
如果数据量超过10万条,apply的遍历性能较低,可以用pandas向量化操作实现:
mask = df['grades'].explode().isin(target).groupby(level=0).any()
这种方法先把grades列的列表展开成多行,匹配后按原索引聚合判断是否有命中,性能是apply的数倍到数十倍。
内容的提问来源于stack exchange,提问作者Stuart Smith
相关产品推荐
相关产品推荐

