PySpark如何实现类似SQL IN子句过滤 避免join产生重复数据

你要的等价SQL WHERE df1.ID IN (select df2.id from df2) 的逻辑，在pandas里不需要用join，直接用isin()方法实现即可，完全规避多对多join带来的数据重复问题。

实现代码 #

# 先提取DF2中所有出现过的ID（自动去重，避免重复计算）
target_ids = DF2["ID"].unique()
# 直接筛选DF1中ID在目标集合内的记录，生成DF3
DF3 = DF1[DF1["ID"].isin(target_ids)]

方案优势 #

• 无数据重复：isin()是行级布尔判断逻辑，不会像merge/join那样因为两个表同一ID对应多条记录产生M:N笛卡尔积，最终DF3会100%保留DF1符合条件记录的原始结构和条数，不会多出行也不会修改原有字段
• 性能优异：底层为C实现的向量化运算，比join的表连接逻辑开销低很多，百万级以上数据量下速度优势明显
• 语义对齐：和SQL的IN子查询逻辑完全一致，代码可读性高，没有额外学习成本

注意事项 #

如果ID列存在空值，建议先剔除空值再提取ID集合，避免空值匹配导致的异常结果：

target_ids = DF2["ID"].dropna().unique()

实际效果示例：如果DF2中仅存在ID 567、789，没有ID 123，那么最终DF3会保留DF1中所有ID为567、789的记录，ID=123的所有记录会被全部过滤，完全匹配需求。

内容的提问来源于stack exchange，提问作者W. Hesler