Spark Java API连接Hive时Kerberos认证问题求助

这个问题我之前帮不少人排查过，核心就是你的Spark应用没正确配置Kerberos认证流程，导致它默认尝试用SIMPLE认证方式连接Hive，但你的集群只允许KERBEROS或TOKEN认证，所以才抛出这个错误。给你几个关键的解决步骤：

1. 在SparkSession中配置Kerberos核心参数 #

构建SparkSession时，必须明确指定Kerberos相关的配置，告诉Spark要用Kerberos去认证Hive Metastore和HDFS。示例代码如下：

SparkSession spark = SparkSession.builder()
    .appName("HiveKerberosTest")
    // 开启Kerberos认证
    .config("spark.hadoop.hadoop.security.authentication", "kerberos")
    // Hive Metastore的Kerberos主体，替换成你的集群实际配置
    .config("spark.hadoop.hive.metastore.kerberos.principal", "hive/_HOST@YOUR.REALM.COM")
    // 启用Hive Metastore的SASL认证
    .config("spark.hadoop.hive.metastore.sasl.enabled", "true")
    // 避免类加载冲突，这个配置很重要
    .config("spark.sql.hive.metastore.sharedPrefixes", "com.mysql.jdbc,org.postgresql,com.microsoft.sqlserver,oracle.jdbc")
    // 如果你的表数据存在HDFS，还要配置NameNode的Kerberos主体
    .config("spark.hadoop.dfs.namenode.kerberos.principal", "nn/_HOST@YOUR.REALM.COM")
    .enableHiveSupport()
    .getOrCreate();

注意：YOUR.REALM.COM要替换成你的Kerberos域，hive/_HOST@YOUR.REALM.COM是Hive Metastore的Kerberos主体，这个必须和集群的hive-site.xml配置一致。

2. 为Spark应用提供Kerberos凭证 #

Spark需要有效的Kerberos票据才能通过认证，有两种常用方式：

• 方式一：提前获取票据缓存
  在运行Spark应用前，先用kinit命令获取票据：

  kinit -kt /path/to/your-user.keytab your-user-principal@YOUR.REALM.COM
  

  确保运行Spark应用的用户能访问生成的票据缓存文件（默认路径是/tmp/krb5cc_<用户UID>）。

• 方式二：直接配置密钥表
  在SparkSession中添加密钥表和主体配置，让Spark自动获取票据：

  // 可选：配置主体映射规则，避免权限问题
  .config("spark.hadoop.security.auth_to_local", "RULE:[2:$1@$0](hive@YOUR.REALM.COM)s/.*/hive/")
  // 指定kinit命令路径
  .config("spark.hadoop.hadoop.security.kerberos.kinit.cmd", "/usr/bin/kinit")
  // Hive Metastore的密钥表路径，集群所有节点都要能访问到
  .config("spark.hadoop.hive.metastore.kerberos.keytab.file", "/path/to/hive.keytab")
  

  注意：密钥表文件要确保在Spark集群的所有节点上都能访问，或者通过--files参数在提交应用时分发。

3. 检查Hive Metastore的配置一致性 #

确保你的Hive Metastore服务已经正确启用Kerberos认证，hive-site.xml中必须包含这些配置：

<property>
    <name>hive.metastore.sasl.enabled</name>
    <value>true</value>
</property>
<property>
    <name>hive.metastore.kerberos.principal</name>
    <value>hive/_HOST@YOUR.REALM.COM</value>
</property>
<property>
    <name>hive.metastore.kerberos.keytab.file</name>
    <value>/path/to/hive.keytab</value>
</property>

如果你的Spark应用是远程提交的，要把正确的hive-site.xml放到Spark的conf目录下，或者在提交时用--files hive-site.xml参数携带。

4. YARN集群模式额外配置 #

如果是在YARN集群模式下运行Spark应用，还要添加YARN的Kerberos认证配置：

.config("spark.yarn.principal", "your-user-principal@YOUR.REALM.COM")
.config("spark.yarn.keytab", "/path/to/your-user.keytab")

最后验证 #

配置完成后，先通过klist命令检查票据是否有效，再运行Spark应用。如果还是有问题，可以开启Spark的DEBUG日志，查看认证过程的详细报错信息，定位具体哪里配置错了。

内容的提问来源于stack exchange，提问作者jymbo