如何用Pandas筛选列组合匹配指定元组列表的行？

针对百万级数据集（170万行+2万列），完全没必要用低效的遍历，以下两种向量化方法能大幅提升处理速度：

方法1：MultiIndex + isin（最优选择） #

利用Pandas的多层索引结合集合查找，是速度最快的实现方式：

# 先把有效组合转成集合，哈希查询比列表快几个数量级
valid_set = set(valid_comb)

# 生成匹配掩码，底层是C实现的向量化操作
mask = df.set_index(['id', 'name']).index.isin(valid_set)

# 筛选结果，仅保留符合条件的行
result_df = df[mask]

方法2：生成元组列后筛选 #

如果不想修改原DataFrame的索引，可直接生成(id, name)元组的临时序列进行匹配：

valid_set = set(valid_comb)

# 用zip生成元组序列（向量化操作，远快于逐行apply）
tuple_series = pd.Series(list(zip(df['id'], df['name'])))
mask = tuple_series.isin(valid_set)

result_df = df[mask]

关键优化点 #

1. 集合转换：把valid_comb转成set，成员查询时间复杂度从O(n)降到O(1)，尤其是当有效组合数量较多时，这个优化的效果极其明显；
2. 向量化操作：避免Python层面的逐行循环，利用Pandas底层的C语言实现处理，百万级数据的处理时间能从分钟级压缩到秒级；
3. 内存友好：通过布尔掩码筛选，不会额外复制大宽表的所有列，内存占用远低于遍历生成新DataFrame的方式。

注意事项 #

• 如果id或name存在缺失值（NaN），生成的元组会包含NaN，这类行无法匹配到有效组合，需提前用df.dropna(subset=['id', 'name'])处理；
• 若有效组合数量极大（比如超过100万），集合的内存占用可能较高，此时可考虑将valid_comb转成另一个小DataFrame，然后用merge操作实现筛选（但速度略逊于上述方法）。

内容的提问来源于stack exchange，提问作者CutePoison