如何以另一个DataFrame为条件筛选Pandas主DataFrame数据

错误原因 #

你之前的方案失效是因为isin()方法默认按单列独立匹配值，返回的是和筛选范围同维度的布尔矩阵，直接用这个矩阵索引主DataFrame时，仅会保留每个单元格匹配为True的值，未匹配的位置被置为NaN，不会做整行的多列组合条件判断。

可用解决方案 #

方案1：merge关联法（最简洁，适合绝大多数场景） #

直接用pandas的merge做内连接，默认会按两个DataFrame的共有列做组合匹配，自动过滤不符合条件的行，无需手动指定每一列的匹配规则：

# 仅需一行代码完成筛选，自动适配search_for的所有列作为组合匹配条件
result = df.merge(search_for.drop_duplicates(), how='inner')

如果要严格指定匹配列避免非预期的共同列干扰，可以显式指定on参数：

match_cols = search_for.columns.tolist()
result = df.merge(search_for.drop_duplicates(), on=match_cols, how='inner')

方案2：多重索引掩码法（性能最优，适合超大数据集） #

将匹配列转为多重索引后做isin判断，生成整行布尔掩码完成筛选：

# 基于匹配列生成多重索引
df_match_idx = pd.MultiIndex.from_frame(df[search_for.columns])
search_match_idx = pd.MultiIndex.from_frame(search_for.drop_duplicates())
# 用掩码筛选整行
result = df[df_match_idx.isin(search_match_idx)]

两种方案输出的结果都和你之前的result_a完全一致，且适配任意数量的筛选列，不需要手动修改代码拼接多列条件。

内容的提问来源于stack exchange，提问作者buhtz