PySpark连接Hive时匿名用户权限被拒问题求助

问题分析 #

你的代码中尝试通过JDBC URL传递用户名，但HiveWarehouseSession（基于LLAP）并不通过该URL参数获取认证信息，导致始终以匿名用户身份访问，触发权限拒绝错误。

可行解决方案 #

1. 配置SparkSession的Hive认证参数 #

在构建SparkSession时，直接指定HiveServer2的认证用户参数，而非嵌入JDBC URL：

spark = SparkSession.builder \
  .appName("My Spark Application") \
  .config("spark.hadoop.hive.server2.authentication", "PLAIN") \
  .config("spark.hadoop.hive.server2.thrift.client.user", "hive") \
  .config("spark.hadoop.hive.server2.thrift.client.password", "")  # 若有密码则填写对应内容
  .enableHiveSupport() \
  .getOrCreate()

from pyspark_llap.sql.session import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).build()  

hive.execute("show tables")

2. 使用HiveWarehouseSession内置认证方法 #

部分版本的pyspark_llap支持直接通过withAuth方法设置用户信息：

spark = SparkSession.builder \
  .appName("My Spark Application") \
  .enableHiveSupport() \
  .getOrCreate()

from pyspark_llap.sql.session import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark) \
  .withAuth("hive", "")  # 依次传入用户名和密码
  .build()  

hive.execute("show tables")

3. 检查HiveServer2端配置 #

确保Hive的hive-site.xml中相关认证配置正确：

• 设置hive.server2.authentication为PLAIN（允许用户名密码认证）
• 确认用户hive拥有default库的USE权限，可通过Hive客户端执行：

  GRANT USE ON DATABASE default TO USER hive;
  

内容的提问来源于stack exchange，提问作者Pranav