通过URL将Spark连接Hive时Kerberos权限及驱动报错问题求助
根因定位
- 权限报错:vegetables库配置了基于Ranger/Sentry的细粒度权限控制,仅指定Kerberos主体(principal)可访问。默认启动spark2-shell时使用的是本地用户对应的无权限主体,而beeline/impala-shell传入连接字符串时已携带有权限的Kerberos认证信息,因此可正常访问。
- 驱动找不到报错:Spark运行时classpath未加载对应版本的Hive/Impala JDBC驱动包。
解决方案
方案1:启动Spark会话时预携带Kerberos认证(推荐,适配全量Spark SQL操作场景)
- 提前确认可访问vegetables库的Kerberos principal及对应keytab文件路径,先执行kinit验证认证有效性:
kinit -kt /path/to/valid.keytab access_vegetables_principal@YOUR.KERBEROS.REALM
执行klist确认认证票据生效后可直接启动spark2-shell测试访问,若仍报错则启动时添加认证参数: - spark2-shell启动命令:
spark2-shell \ --master yarn \ --keytab /path/to/valid.keytab \ --principal access_vegetables_principal@YOUR.KERBEROS.REALM \ --conf spark.hadoop.security.authentication=kerberos \ --conf spark.hadoop.security.authorization=true
- pyspark启动参数与上述完全一致,仅将开头的
spark2-shell替换为pyspark即可;spark-submit提交作业时也添加相同的keytab、principal参数即可。
方案2:代码内通过JDBC携带认证访问(适配仅需临时访问vegetables库的场景)
- 解决驱动缺失问题:提前下载对应集群版本的Hive JDBC/Impala JDBC驱动包,上传到服务器本地路径(例如
/opt/spark_external_jars/),启动Spark会话时添加--jars参数加载驱动:spark2-shell --jars /opt/spark_external_jars/hive-jdbc.jar,/opt/spark_external_jars/impala-jdbc.jar - Scala代码示例:
// 基于Hive JDBC访问vegetables库 val hiveJdbcDf = spark.read.format("jdbc") .option("url", "jdbc:hive2://<HiveServer2节点IP>:10000/vegetables;principal=hive/_HOST@YOUR.KERBEROS.REALM") .option("dbtable", "你要查询的表名") .option("driver", "org.apache.hive.jdbc.HiveDriver") .load() hiveJdbcDf.show(10) // 基于Impala JDBC访问vegetables库 val impalaJdbcDf = spark.read.format("jdbc") .option("url", "jdbc:impala://<Impalad节点IP>:21050/vegetables;AuthMech=1;KrbRealm=YOUR.KERBEROS.REALM;KrbHostFQDN=_HOST;KrbServiceName=impala") .option("dbtable", "你要查询的表名") .option("driver", "com.cloudera.impala.jdbc41.Driver") .load() impalaJdbcDf.show(10)
- PySpark代码示例:
# 基于Hive JDBC访问vegetables库 hive_jdbc_df = spark.read.format("jdbc") \ .option("url", "jdbc:hive2://<HiveServer2节点IP>:10000/vegetables;principal=hive/_HOST@YOUR.KERBEROS.REALM") \ .option("dbtable", "你要查询的表名") \ .option("driver", "org.apache.hive.jdbc.HiveDriver") \ .load() hive_jdbc_df.show(10)
验证步骤
- 配置完成后先执行
spark.sql("show databases").show()确认vegetables库可被识别 - 执行
spark.sql("select * from vegetables.测试表名 limit 1").show()验证查询无权限报错,执行正常 - 若仍有兼容类报错,可在启动参数中添加
--conf spark.sql.hive.metastore.jars=/path/to/集群hive安装路径/lib/*指定集群原生Hive依赖包。
内容的提问来源于stack exchange,提问作者Mvtsz
相关产品推荐
相关产品推荐

