PySpark SQL使用NOT IN实现集合差集报错如何解决？

问题原因 #

你遇到的报错是SQL语法错误导致的：NOT IN 前必须指定要匹配的对比字段，你当前的写法为 WHERE NOT IN (...)，SQL解析器无法识别NOT对应的判断逻辑，因此抛出了字段解析错误。

PySpark完全支持这类集合差集操作，下面是两种常用的实现方案：

方案1：使用DataFrame API的subtract方法 #

该方法最简单，适合需要对比两个表所有字段完全匹配的差集场景，语义和SQL的EXCEPT完全一致：

# 读取两个表的DataFrame
df_nodes1 = spark.table("nodes1")
df_nodes2 = spark.table("nodes2")

# 计算nodes2中存在、nodes1中不存在的记录
diff_df = df_nodes2.subtract(df_nodes1)

# 统计差集数量
print(diff_df.count())
# 查看差集明细可执行 diff_df.show()

方案2：使用正确的SQL语法实现 #

场景A：按指定唯一字段对比（比如主键id） #

spark.sql("""
SELECT COUNT(*) FROM nodes2
WHERE id NOT IN (SELECT id FROM nodes1)
""").show()

场景B：全字段对比差集 #

使用EXCEPT关键字实现，要求两个表的字段数量、顺序、类型完全一致：

spark.sql("""
SELECT COUNT(*) FROM (
    SELECT * FROM nodes2
    EXCEPT
    SELECT * FROM nodes1
)
""").show()

注意事项 #

• 如果需要保留差集的重复记录，可以使用EXCEPT ALL（SQL语法）或者subtractAll（PySpark 3.0及以上版本支持）
• 全字段对比时，两个表的字段顺序必须完全匹配，否则会出现逻辑错误或运行报错

内容的提问来源于stack exchange，提问作者Ryan