如何用向量化方法判断DataFrame列值组合是否存在于另一表？

你现有的方法依赖apply逐行遍历，且通过zip做线性查找，在数据量较大时效率很低。以下是几种高效的向量化实现方式：

方法1：利用merge的indicator参数（直观的合并式判断） #

通过左连接保留d2所有行，用indicator标记匹配状态，直接生成结果：

# 仅用d1的c1、c2列做左连接，添加匹配标记列
merged = d2.merge(d1[['c1', 'c2']], on=['c1', 'c2'], how='left', indicator=True)
# 将匹配状态映射为1/0
d2['c1_c2_found'] = merged['_merge'].map({'both': 1, 'left_only': 0})

优势：完全依托pandas的合并优化逻辑，无需手动处理组合匹配，代码简洁易读。

方法2：集合+矢量化isin（最快的查找方式） #

把d1的c1/c2组合转为集合（查找复杂度O(1)），再用isin做批量判断：

# 构建d1的c1/c2组合集合
d1_pairs = set(zip(d1['c1'], d1['c2']))
# 批量判断d2的组合是否在集合中，转成int类型的标记
d2['c1_c2_found'] = pd.Series(list(zip(d2['c1'], d2['c2']))).isin(d1_pairs).astype(int)

优势：集合查找效率远高于线性遍历，且isin是矢量化操作，数据量越大性能提升越明显。

方法3：复合索引匹配 #

通过设置复合索引，利用索引的快速匹配能力实现判断：

# 给d1设置c1、c2为复合索引
d1_indexed = d1.set_index(['c1', 'c2'])
# 检查d2的复合索引是否存在于d1的索引中
d2['c1_c2_found'] = d2.set_index(['c1', 'c2']).index.isin(d1_indexed.index).astype(int)

优势：适合需要频繁进行组合匹配的场景，索引的匹配逻辑经过pandas深度优化。

原方法的问题说明 #

你原代码中，zip(merged_data['c1'], merged_data['c2'])每次判断都会生成迭代器并线性遍历，加上apply逐行处理，时间复杂度为O(n²)，数据量稍大就会出现明显卡顿。上述方法均为O(n)级别的矢量化操作，性能提升显著。

内容的提问来源于stack exchange，提问作者Lopez