基于另一DataFrame多列匹配过滤DataFrame的最优实践

示例数据 #

df1：

A  B  C  D
0  1  2  3  4
1  1  3  5  5
2  1  2  3  4
3  3  5  6  7
4  9  7  6  5

df2：

A  B  C
0  1  2  3
1  9  7  6

需求：保留df1中A、B、C列组合与df2完全匹配的记录，预期结果：

A  B  C  D
0  1  2  3  4
1  1  2  3  4
2  9  7  6  5

现有实现 #

你当前的代码逻辑可行，但存在冗余，可以简化：

merged_df = df1.merge(df2, how="left", on=["A", "B", "C"], indicator=True)
mask = merged_df["_merge"] == "both"
result = merged_df[mask].drop(["_merge"], axis=1)

更优实现方式 #

1. 内连接（Inner Join）【推荐】 #

直接使用merge的inner连接类型，内连接会自动只保留两表中指定列组合完全匹配的记录，无需额外处理中间列，代码最简洁高效：

result = df1.merge(df2, on=["A", "B", "C"], how="inner")

该方案和原逻辑完全一致，但省去了中间变量、过滤和列删除步骤，底层执行效率与原方法相当，是优先推荐的方案。

2. 元组集合匹配（小数据量场景） #

将两表的A/B/C列组合转换成元组集合，用isin过滤，逻辑更直观：

# 提取df2的有效组合为元组集合
valid_combs = set(df2[["A", "B", "C"]].apply(tuple, axis=1))
# 过滤df1
result = df1[df1[["A", "B", "C"]].apply(tuple, axis=1).isin(valid_combs)]

注意：大数据量下apply逐行操作的效率不如merge，适合小数据集使用。

3. 动态生成查询条件（列名简单场景） #

通过df2的组合生成query的过滤条件，可读性较好，但组合较多时不适用：

# 生成类似"A==1 and B==2 and C==3 or A==9 and B==7 and C==6"的条件字符串
filter_str = " or ".join([f"A=={a} and B=={b} and C=={c}" for a,b,c in df2.values])
result = df1.query(filter_str)

内容的提问来源于stack exchange，提问作者Looz