每日定时调度的Hive查询作业首次运行失败，如何排查代码问题

语法类错误 #

• 派生表缺少别名：Hive SQL要求所有嵌套的子查询（派生表）必须指定别名，你代码中的内层查询包裹后没有添加别名，属于语法错误，是首次执行失败的高频诱因。
  对应错误代码逻辑：

  val query =
        """select passengerID, flightstatus, partition_date from(
           |select distinct $flightTable.passengerID, $flightTable.flightstatus, $flightTable.partition_date
           |from $flightTable
           |where $flightTable.flightstatus in $flightstatusesString and $flightTable.partition_date = Date('$date')
           |)""".trimMargin()
  

  修复方式：在括号后添加自定义别名即可，示例修改后SQL结构：

  select passengerID, flightstatus, partition_date from(
  select distinct $flightTable.passengerID, $flightTable.flightstatus, $flightTable.partition_date
  from $flightTable
  where $flightTable.flightstatus in $flightstatusesString and $flightTable.partition_date = Date('$date')
  ) t
  

• 空IN表达式错误：如果入参flightstatuses是空列表，拼接出来的SQL会出现flightstatus in ()的结构，Hive不支持空IN条件，直接触发语法报错。
  修复方式：拼接SQL前先判断列表非空，为空时直接返回空集合，跳过Hive查询步骤。
• 字符串转义错误：如果flightstatus的取值包含单引号，直接拼接'$it'会导致SQL引号提前闭合，触发语法错误。
  修复方式：对枚举值的单引号做转义，调整转换逻辑为：

  transform = { "'${it.toString().replace("'", "''")}'" }
  

业务逻辑类错误 #

• 日期格式不匹配：如果Hive表的partition_date分区字段为字符串类型，且存储格式不是yyyy-MM-dd，直接拼接LocalDate的默认字符串格式会导致分区过滤不匹配，要么查不到数据要么触发分区裁剪相关报错。
  修复方式：按照分区字段的实际存储格式对LocalDate做格式化后再传入SQL。
• 日志变量错误：代码中日志打印的变量是$statuses，但方法入参是flightstatuses，如果statuses是未定义的全局变量会直接触发运行时异常，即使编译通过也会打印错误的过滤条件，不利于问题排查。

环境权限类错误 #

• 执行账号权限不足：本地调试使用个人账号有权限访问Hive表，但定时任务的执行服务账号未配置对应Hive表的查询权限，会触发权限拒绝报错。
  修复方式：确认定时任务执行账号的Hive表访问权限，补充缺失的权限配置。

内容的提问来源于stack exchange，提问作者AnthonyEdwardsStan