Oozie Spark Action执行Hive查询报Table Not Found故障排查求助

我来帮你梳理这个问题——毕竟Oozie+Spark+Hive的组合确实容易在配置和类加载上踩坑，尤其是deploy模式下，Spark Driver运行在集群节点，和本地spark-submit的环境差异很大。结合你已经尝试的操作，给你几个针对性的排查方向：

• 确认Oozie Spark Action的共享库与配置传递
  首先检查你的job.xml或workflow.xml里的Spark Action配置：

  • 确保oozie.action.sharelib.for.spark设置为spark,hive，这样Oozie会加载Hive相关的共享库，避免缺失metastore依赖
  • 添加Spark配置参数，强制加载Hive metastore的正确依赖：在Spark Action的<spark-opts>里加上--conf spark.sql.hive.metastore.jars=builtin --conf spark.sql.hive.metastore.sharedPrefixes=org.apache.hive,org.apache.hadoop.hive。builtin会让Spark使用自带的Hive jar包，sharedPrefixes可以避免类加载冲突导致的metastore连接失败

• 确保hive-site.xml被正确分发到集群节点
  你已经把hive-site.xml放到了工作区，但deploy模式下Driver和Executor是在集群节点启动的，需要确保配置文件能被他们获取到：

  • 在workflow.xml的Spark Action节点里添加<file>hive-site.xml#hive-site.xml</file>，这样Oozie会把这个文件上传到分布式缓存，自动分发给所有执行节点
  • 另外可以验证集群所有节点的$SPARK_HOME/conf目录下是否有正确的hive-site.xml，避免节点本地配置缺失

• 检查Spark代码中Hive上下文的初始化
  确认你的代码是用标准的Hive支持方式创建SparkSession：

  val spark = SparkSession.builder()
    .appName("YourApp")
    .enableHiveSupport()
    .getOrCreate()
  

  不要手动指定metastore地址，让Spark自动从hive-site.xml读取配置。如果是旧版本Spark，确保用的是HiveContext而非普通的SQLContext

• 排查Oozie作业的运行权限
  有时候“表不存在”的错误其实是权限问题伪装的：

  • Oozie默认可能用oozie用户提交作业，而这个用户可能没有访问目标Hive库表的权限。你可以在job.xml里添加oozie.launcher.mapreduce.job.user.name=你的本地用户名，模拟本地spark-submit的用户身份测试
  • 也可以在Spark代码里加入println(s"Current user: ${System.getProperty("user.name")}")，查看运行时的用户是否有足够权限

• 深挖日志找根源
  不要只看Oozie的表面报错，去YARN的Application Master日志里找详细信息：

  • 用yarn logs -applicationId <你的YARN应用ID>导出完整日志，搜索metastore、HiveMetaStoreClient等关键词，看是否有连接失败、权限拒绝等更底层的错误——很多时候表不存在的报错只是表象，实际是metastore没连上

内容的提问来源于stack exchange，提问作者user6666914