在GCP Dataproc集群中Spark Scala用Kerberos连SQL Server失败

问题情况 #

本地通过Kerberos认证连接SQL Server完全正常，但将代码部署到GCP Dataproc集群运行时，出现如下错误：

com.microsoft.sqlserver.jdbc.SQLServerException: Integrated authentication failed.
GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)

目前怀疑本地能生效的System.setProperty("java.security.krb5.conf", "/path/krb5.conf")配置，在GCP环境中未正常工作。

排查与解决方向 #

• 确认krb5.conf的路径和权限
  确保Dataproc集群节点上的krb5.conf路径完全正确，且运行作业的用户（通常是yarn或提交作业的用户）拥有该文件的读取权限。可在集群节点执行ls -l /path/krb5.conf直接检查权限。
• 检查Kerberos票据获取逻辑
  本地环境可能已通过kinit获取TGT票据，但Dataproc集群中需保证作业运行时能拿到有效票据。可在作业启动脚本中添加kinit -kt /path/keytab.princ username@REALM.COM（替换为实际的keytab路径、用户名和域），确保作业运行前已获取TGT。
• 更换JVM参数配置方式
  不要仅在代码中设置java.security.krb5.conf，可通过Dataproc作业的启动参数指定，比如提交作业时添加--jvm-property java.security.krb5.conf=/path/krb5.conf，避免代码设置因加载顺序问题不生效。
• 验证Dataproc集群的Kerberos环境
  检查集群是否已启用Kerberos，且集群的Kerberos域与SQL Server的Kerberos域之间的信任关系配置正确。若集群未启用Kerberos，需先搭建集群的Kerberos环境，确保能与SQL Server的KDC正常通信。
• 排查DNS与时间同步问题
  Kerberos对DNS解析和时间同步要求严格，需保证Dataproc集群节点能正确解析SQL Server的主机名和KDC服务器地址，且集群节点与KDC、SQL Server的时间差不超过5分钟。可通过ntpq -p或timedatectl检查时间同步状态。

内容的提问来源于stack exchange，提问作者maxmadroad