如何在PySpark中实现含EXISTS子句的SQL查询？

原SQL的核心逻辑是：从charlie表中取出Id、Description、Code字段，筛选条件为状态是ACTIVE，或者该记录的Id在beta表中存在匹配条目。

下面提供两种贴合需求的实现方式：

方法一：左连接+去重 #

通过左连接关联beta表，筛选出符合条件的记录后去重，避免因多匹配导致的重复数据：

# 假设charlie、beta已加载为PySpark DataFrame
from pyspark.sql import functions as F

# 按Id左连接两张表
joined_df = charlie.join(beta, on="Id", how="left")

# 筛选符合条件的记录，指定原表字段并去重
result_df = joined_df.filter(
    (F.col("Status") == "ACTIVE") | (F.col("beta.Id").isNotNull())
).select("charlie.Id", "charlie.Description", "charlie.Code").distinct()

方法二：用exists函数模拟SQL逻辑 #

这种方式更贴近原SQL的EXISTS写法，直接通过PySpark的exists函数判断Id是否存在于beta表：

from pyspark.sql import functions as F

# 筛选符合条件的记录，直接取所需字段
result_df = charlie.filter(
    (F.col("Status") == "ACTIVE") | 
    F.exists(
        beta,
        lambda b: b.Id == F.col("Id")
    )
).select("Id", "Description", "Code")

性能小贴士 #

如果beta表数据量较大，建议先执行beta.cache()缓存表数据，能有效提升查询效率。

内容的提问来源于stack exchange，提问作者Thiago Carvalho