运行含动态变量的Spark SQL时出现ParseException报错咨询

1. Scala 的字符串插值（s""语法）是编译期特性，仅对代码中直接书写的字符串字面量生效。你从JSON文件读取到的q1是运行时动态获取的字符串，其中的${sal}只会被当作普通文本处理，不会被替换成对应的变量值，最终传入Spark SQL的语句实际是不完整的，因此触发解析异常。
2. 你的示例代码中sal变量定义在q1赋值之后，哪怕q1是代码中直接写的字符串字面量，编译阶段也会因为变量未定义报错。

下面提供3种适配不同场景的解决方案：

方案1：手动字符串替换（适合变量少的简单场景） #

将SQL模板中的占位符改成自定义标识（比如{sal}），调用replace方法手动替换变量：

// 从JSON读取的SQL模板示例："select * from empDF1 where salary > {sal}"
val q1 = "select * from empDF1 where salary > {sal}"
val sal = 1000
val finalSql = q1.replace("{sal}", sal.toString)
val df = spark.sql(finalSql)

方案2：模板引擎批量替换（适合变量多的复杂场景） #

用通用字符串模板引擎批量处理占位符，比如用Apache Commons Text的StringSubstitutor：

import org.apache.commons.text.StringSubstitutor
import scala.collection.JavaConverters._

// 从JSON读取的SQL模板示例："select * from empDF1 where salary > ${sal}"
val q1 = "select * from empDF1 where salary > ${sal}"
// 所有变量存入Map
val params = Map("sal" -> 1000)
val substitutor = new StringSubstitutor(params.asJava)
val finalSql = substitutor.replace(q1)
val df = spark.sql(finalSql)

方案3：Spark原生参数化查询（推荐，防SQL注入） #

如果你使用Spark 3.4及以上版本，直接用Spark原生支持的参数化SQL，安全性最高：

// 不需要提前替换占位符，直接把变量通过Map传入
val q1 = "select * from empDF1 where salary > :sal"
val df = spark.sql(q1, Map("sal" -> 1000))

内容的提问来源于stack exchange，提问作者SRN