Kerberos环境下Oozie Spark Action执行失败问题求助

我之前处理过类似的场景，spark-submit能正常跑但Oozie执行就报SASL协商失败，核心原因基本都是Oozie运行上下文里的Kerberos凭证或Hive配置没有正确传递给Spark任务，下面是一步步的排查和解决方法：

1. 确认Oozie Spark Action的Kerberos凭证配置 #

Oozie提交Spark任务时，必须显式指定Kerberos的keytab和principal，不然Spark在Yarn集群模式下无法获取有效的认证凭证。你需要在workflow.xml的Spark Action里添加对应的配置：

<action name="spark-hive-job">
    <spark>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <master>yarn</master>
        <mode>cluster</mode>
        <jar>hdfs:///path/to/your/spark-job.jar</jar>
        <!-- 关键：指定keytab、principal，以及Hive metastore相关配置 -->
        <spark-opts>
            --keytab /etc/security/keytabs/your-user.keytab 
            --principal your-user@YOUR-REALM.COM 
            --conf spark.sql.hive.metastore.jars=builtin
        </spark-opts>
    </spark>
    <ok to="end"/>
    <error to="fail"/>
</action>

注意：

• keytab文件要保证Yarn容器能访问到（可以放在HDFS上，或者集群所有节点的本地路径）
• 权限设置正确：keytab文件权限建议设为600，属主为作业提交用户

2. 确保Hive配置文件正确传递给Spark #

Spark的HiveContext依赖hive-site.xml里的metastore Kerberos配置（比如hive.metastore.uris、hive.metastore.sasl.enabled、hive.metastore.kerberos.principal等）。Oozie默认可能不会自动加载这个配置，导致Spark用默认的非认证方式连接metastore。

解决方法：

• 在Spark Action的<spark-opts>里添加--files hdfs:///path/to/hive-site.xml，这样Yarn容器会自动下载这个配置文件到任务工作目录
• 或者把hive-site.xml放到Spark集群所有节点的$SPARK_HOME/conf目录下（适用于所有Spark任务）

3. 验证Spark与Hive Metastore的Jar兼容性 #

如果Spark和Hive版本不匹配，或者Spark没有加载正确的Hive metastore jars，也会导致SASL认证失败。可以通过以下配置强制Spark使用内置的Hive jars：

--conf spark.sql.hive.metastore.jars=builtin

如果你的Hive版本比较特殊，也可以指定Hive lib目录的路径：

--conf spark.sql.hive.metastore.jars=/opt/hive/lib/*

4. 查看完整的错误日志定位细节 #

你提供的错误信息只显示了SASL协商失败的开头，建议去Yarn的ApplicationMaster日志里找完整的堆栈信息，里面会明确告诉你失败原因：比如凭证过期、principal不匹配、REALM错误等。

• 可以通过Oozie Web UI的作业详情页跳转到对应的Yarn日志
• 或者用命令行查看：yarn logs -applicationId <你的Yarn应用ID>

5. 检查Kerberos Ticket的有效性 #

Oozie提交作业时，需要用指定的keytab获取Kerberos Ticket。可以先手动测试keytab是否有效：

kinit -kt /path/to/your.keytab your-user@YOUR-REALM.COM
klist # 查看ticket是否生成，以及过期时间

如果手动测试没问题，但Oozie运行时失败，可能是Oozie的ticket缓存路径配置有问题，可以在Oozie的oozie-site.xml里添加：

<property>
    <name>oozie.kerberos.ticket.cache.path</name>
    <value>/tmp/krb5cc_${user}</value>
</property>

确保Oozie能正确复用有效的ticket。

内容的提问来源于stack exchange，提问作者nagendra