Spark SQL中IN子句如何使用参数文件中的多个参数值？

这个问题的核心是当substatus是多值（比如A,B,C）时，直接拼接成IN '${parseConf.substatus}'会生成无效的SQL语法——因为IN子句需要的是括号内用单引号包裹的多个值，而非单个带逗号的字符串。下面给出两种可靠的解决方法：

方法1：预处理属性值，生成合法的IN子句格式 #

先将属性文件中的逗号分隔字符串转换为SQL认可的多值格式，再拼接进查询语句：

// 处理substatus值：拆分、添加单引号、拼接成适合IN子句的格式
val formattedSubstatus = parseConf.substatus
  .split(",") // 按逗号拆分多值
  .map(value => s"'$value'") // 给每个值添加单引号
  .mkString(",") // 用逗号连接成字符串

// 执行Spark SQL查询
spark.sql(s"""
  INSERT INTO curated.table 
  SELECT * FROM source.table 
  WHERE substatus IN ($formattedSubstatus)
""")

如果属性值中可能包含空格（比如A, B, C），可以改用split("\\s*,\\s*")来自动去除每个值前后的空格。

方法2：使用DataFrame API（更安全，避免SQL注入） #

拼接字符串容易引发SQL注入风险，推荐用Spark的DataFrame API来实现过滤逻辑，更符合Spark最佳实践：

import org.apache.spark.sql.functions.col

// 将属性值转换为Seq集合
val substatusList = parseConf.substatus.split(",").toSeq

// 读取源表、过滤数据、写入目标表
spark.table("source.table")
  .filter(col("substatus").isin(substatusList:_*)) // 用isin方法匹配多值
  .write.mode("append") // 根据需求选择写入模式：append/overwrite等
  .saveAsTable("curated.table")

这种方法不需要手动拼接SQL字符串，Spark会自动处理参数的转义和格式，安全性更高。

额外注意事项 #

• 如果属性值中包含单引号（比如O'Neil），方法1需要额外处理转义：map(value => s"'${value.replace("'", "''")}'")，避免SQL语法错误；方法2则无需手动处理，Spark会自动处理。
• 确保属性文件中的多值用逗号分隔，没有其他多余的分隔符。

内容的提问来源于stack exchange，提问作者Vikhyat Srivastava