如何检查Spark DataFrame指定列中是否存在特定整数值

你之前代码运行失败的核心原因有三个：

1. contains是Spark列针对字符串类型的内置方法，仅用于判断字符串列是否包含指定子串，不适用于整数的等值匹配场景
2. 语法结构错误，判断逻辑contains(2)写在了filter方法的外层，完全不符合Spark API的调用规则
3. filter方法的入参要求是返回布尔类型的列表达式，你直接传入了整数类型的df.ID列，本身就会触发类型不匹配的运行时错误

以下是几种可直接返回布尔结果的可行实现方案：

方案1：过滤后判断是否存在匹配行（性能最优，推荐） #

仅需要判断是否存在至少1条匹配行时，加上limit(1)可以触发Spark的下推优化，扫描到第一条匹配数据就终止任务，避免全表扫描，性能远高于直接全量统计行数。
PySpark示例代码：

target_id = 2
is_exist = df.filter(df.ID == target_id).limit(1).count() > 0
# 输出为True/False的布尔值

Scala Spark示例代码：

val targetId = 2
val isExist = df.filter(col("ID") === targetId).limit(1).count() > 0

方案2：使用Spark SQL的EXISTS语法 #

如果更习惯SQL写法，可以先注册临时视图后通过SQL的EXISTS语法实现：

df.createOrReplaceTempView("temp_df")
target_id = 2
is_exist = spark.sql(f"SELECT EXISTS(SELECT 1 FROM temp_df WHERE ID = {target_id})").head()[0]

方案3：使用isin方法（多目标值判断场景适用） #

如果需要同时判断ID是否属于多个指定值的列表，使用isin方法写法更简洁：

# 同时判断ID是否为2、5、7中的任意一个
target_ids = [2, 5, 7]
is_exist = df.filter(df.ID.isin(target_ids)).limit(1).count() > 0

内容的提问来源于stack exchange，提问作者cincin21