Spark直接调用.hql文件报错no viable alternative exception求助

首先咱们拆解你遇到的问题：no viable alternative exception 主要来自两个方面——HQL文件里的语法错误，以及你用了sqlContext不支持的Hive CLI专属命令。另外，直接把整个HQL文件内容拼接成一条语句执行也是行不通的，sqlContext一次只能处理一条HiveQL语句。

一、先修复HQL文件里的问题 #

你的HQL文件有几个致命问题，先调整它：

1. 移除CLI专属命令：set hive.execution.engine=mr; 和 !quit 是Hive Shell的专属命令，Spark SQLContext/SparkSession根本识别不了，直接删掉。
2. 修复join语法错误：第二个insert语句里的 inner join cust_info_stage on left join cust_dim d on id=uid 不符合SQL语法，on 后面必须跟关联条件，多个join的顺序也需合理。比如你可能想写的是：

   insert into cust_info_stage
   select row_id , name, age, sex, country , upd_date, create_date
   from ${hiveconf:table} r 
   inner join cust_info_stage s on r.id = s.id
   left join cust_dim d on r.id = d.uid
   where not exists ( select 1 from cust_info c where c.id=r.id);
   

   （请根据实际业务逻辑调整关联条件，核心是每个join都要有对应的on子句）
3. 保留有效语句：只留下两个insert的HiveQL语句，注释可以保留但执行时要过滤掉。

二、正确的Scala代码执行方式 #

sqlContext（或者Spark 2.x+推荐的SparkSession）不能直接执行整个HQL文件的拼接内容，需要拆分语句、过滤无效行、逐条执行。这里给你两种版本的代码：

版本1：Spark 1.x（用SQLContext/HiveContext） #

import scala.io.Source

// 配置你的SQL文件目录
val SQLDIR = "/path/to/your/sql/files"
// 定义需要传递的HiveConf变量
val hiveVariables = Map(
  "${hiveconf:maxid}" -> "1000", // 替换成你的实际maxid值
  "${hiveconf:table}" -> "your_source_table" // 替换成你的源表名
)

// 读取HQL文件并预处理：过滤注释、空行、CLI命令，替换变量
val processedQueries = Source.fromFile(s"$SQLDIR/select_cust_info.hql").getLines()
  .filter(line => {
    val trimmed = line.trim
    !trimmed.startsWith("--") && !trimmed.startsWith("set") && !trimmed.equals("!quit") && trimmed.nonEmpty
  })
  .map(line => hiveVariables.foldLeft(line) { case (currentLine, (key, value)) =>
    currentLine.replace(key, value)
  })
  .mkString("\n")
  .split(";")
  .map(_.trim)
  .filter(_.nonEmpty)

// 逐条执行每个HQL语句
processedQueries.foreach { query =>
  println(s"正在执行语句: $query")
  if (query.toLowerCase.startsWith("insert")) {
    // insert语句不需要show，直接执行
    sqlContext.sql(query).execute()
  } else {
    sqlContext.sql(query).show()
  }
}

版本2：Spark 2.x+（推荐用SparkSession） #

Spark 2.x之后官方推荐用SparkSession替代旧的SQLContext，开启Hive支持后兼容性更好：

import org.apache.spark.sql.SparkSession
import scala.io.Source

// 初始化SparkSession并开启Hive支持
val spark = SparkSession.builder()
  .appName("ExecuteHQLFile")
  .enableHiveSupport() // 必须开启，才能兼容HiveQL特性
  .getOrCreate()

val SQLDIR = "/path/to/your/sql/files"
val hiveVariables = Map(
  "${hiveconf:maxid}" -> "2000",
  "${hiveconf:table}" -> "customer_source"
)

// 预处理HQL文件
val processedQueries = Source.fromFile(s"$SQLDIR/select_cust_info.hql").getLines()
  .filter(line => {
    val trimmed = line.trim
    !trimmed.startsWith("--") && !trimmed.startsWith("set") && !trimmed.equals("!quit") && trimmed.nonEmpty
  })
  .map(line => hiveVariables.foldLeft(line) { case (currentLine, (key, value)) =>
    currentLine.replace(key, value)
  })
  .mkString("\n")
  .split(";")
  .map(_.trim)
  .filter(_.nonEmpty)

// 执行语句
processedQueries.foreach { query =>
  println(s"Executing query: $query")
  if (query.toLowerCase.startsWith("insert")) {
    spark.sql(query).execute()
  } else {
    spark.sql(query).show()
  }
}

三、HiveConf变量传递的两种方式 #

上面的代码用的是手动字符串替换，这是最直接可控的方式。另外还有一种通过Spark配置参数传递的方式：

// SparkSession版本的配置方式
val spark = SparkSession.builder()
  .appName("ExecuteHQLFile")
  .enableHiveSupport()
  .config("hiveconf.maxid", "1000")
  .config("hiveconf.table", "your_source_table")
  .getOrCreate()

这种方式下，HQL里的${hiveconf:maxid}会自动被Spark替换成配置的值，但要注意这种方式对复杂变量场景可能不如手动替换灵活，且必须确保Spark开启了Hive支持。

最后几个注意事项 #

• 确保你的Spark集群已正确配置Hive支持，能访问Hive元数据
• 执行insert语句时，用execute()比show()更高效，避免不必要的数据拉取
• 拆分语句时要注意HQL中是否有包含分号的字符串常量（比如带分号的文本），如果有需要更智能的拆分逻辑（你的场景里应该不存在这种情况）

内容的提问来源于stack exchange，提问作者hival