求助：如何在Spark SQL中使用IN条件（附SQL示例）

首先得纠正你给出的示例SQL的语法问题——WHERE子句必须放在FROM子句之后，正确的写法应该是：

SELECT name, age FROM table WHERE age IN (25, 35, 45)

这条语句的作用很直接：从名为table的表中筛选出age字段值为25、35或45的记录，并返回name和age两列。

下面分两种常用场景具体说明用法：

1. 直接编写Spark SQL语句 #

如果你的数据已经注册为临时视图（或者是Hive表这类可直接查询的数据源），可以直接用Spark SQL语法执行查询：

Scala示例 #

// 假设你已经有一个DataFrame df，先把它注册为临时视图
df.createOrReplaceTempView("table")

// 执行IN条件查询
val resultDF = spark.sql("SELECT name, age FROM table WHERE age IN (25, 35, 45)")

Python示例 #

# 将DataFrame注册为临时视图
df.createOrReplaceTempView("table")

# 执行查询
result_df = spark.sql("SELECT name, age FROM table WHERE age IN (25, 35, 45)")

另外，IN条件还支持子查询结果，比如你想匹配另一张表中的年龄值：

SELECT name, age FROM table 
WHERE age IN (SELECT age FROM adult_users WHERE status = 'active')

注意子查询必须返回单列数据，且数据类型要和age字段匹配。

2. 使用DataFrame API实现IN逻辑 #

如果习惯用DataFrame的链式调用风格，可以用isin()方法实现相同效果，适合动态传入匹配值的场景：

Scala示例 #

import org.apache.spark.sql.functions.col

// 定义要匹配的年龄列表
val targetAges = Seq(25, 35, 45)

// 筛选数据
val resultDF = df.select("name", "age").where(col("age").isin(targetAges: _*))

Python示例 #

# 定义目标年龄列表
target_ages = [25, 35, 45]

# 执行筛选
result_df = df.select("name", "age").filter(df.age.isin(target_ages))

注意事项 #

• 如果IN后面的匹配值数量非常多（比如上万条），不建议直接用IN条件，此时改用JOIN关联临时表的方式性能会更好。
• 确保匹配值的类型和字段类型一致，比如age是整数类型，就不要传入字符串类型的数字，否则会出现匹配失败或类型错误。

内容的提问来源于stack exchange，提问作者user19692465