AWS EMR 5.30升级至5.35/6.6.0运行Python脚本报Hive元存储实例化错误

这个报错和你Python代码里写没写业务逻辑没关系：PySpark启动时默认初始化带Hive支持的SparkSession，会主动尝试连接Hive Metastore（HMS），EMR 5.35及以上版本对HMS的连通、版本、权限校验比5.30严格很多，只要连接环节有问题就会直接抛错，哪怕你后续只跑print语句。
按以下顺序排查即可：

1. 先做最小验证排除代码问题 #

• 登录EMR主节点直接执行spark-sql命令，输入show databases;执行。如果同样报实例化HMS客户端失败，100%是集群侧HMS服务/配置问题，和作业代码、提交方式无关。
• 如果主节点spark-sql执行正常，只有YARN模式提交作业报错，问题出在Container侧的配置拉取、网络连通性上。

2. 高频故障修复 #

• 检查HMS服务状态：在EMR控制台或主节点执行sudo status hive-metastore确认服务正常运行，再执行netstat -tulpn | grep 9083确认HMS默认的Thrift端口处于监听状态。如果进程不存在或端口没监听，直接看/var/log/hive/hive-metastore.log里的启动报错，常见原因是元数据库连接失败、元数据版本不匹配、端口被占用。
• 校验配置一致性：
  • 检查节点上/etc/spark/conf/hive-site.xml中hive.metastore.uris配置值，必须正确指向HMS服务所在节点的Thrift地址（格式为thrift://<hms节点内网IP>:9083），升级过程中自定义配置被EMR默认值覆盖是非常常见的问题。
  • 如果是YARN模式报错，检查你的作业依赖包里有没有自带旧版本的hive-site.xml，旧配置会覆盖集群默认配置导致Container连错HMS地址。
• 检查权限配置：
  • 如果集群开启了Kerberos，确认提交作业使用的keytab有访问HMS服务的对应权限，同时principal配置和集群域匹配。
  • 检查HDFS上/user/hive/warehouse目录的权限，确保作业提交用户对该目录有读写执行权限，权限不足时HMS客户端初始化会直接失败。
• 校验元数据版本兼容性：如果升级时复用了5.30版本的HMS元数据库，必须先执行元数据升级命令：schematool -dbType <你的元数据库类型，比如mysql/postgres> -upgradeSchemaFrom 2.3.0（EMR 5.30对应Hive版本为2.3.0），元数据版本不匹配时HMS会出现进程存活但无法响应请求的隐性故障。

3. 无Hive依赖场景快速绕方案 #

如果你不需要读写Hive表，只是跑普通Python批处理任务，直接关闭Hive支持即可从根源绕开这个问题：

• 代码初始化SparkSession时禁用Hive：

from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport(False).getOrCreate()
# 后续写你的业务逻辑，包括print语句

• 或者提交作业时加参数指定使用内存Catalog：--conf spark.sql.catalogImplementation=in-memory，启动时不会尝试连接HMS。

如果你的集群用Glue作为统一元数据Catalog，额外检查hive-site.xml中hive.metastore.client.factory.class配置是否为com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory，同时集群节点绑定的EC2角色是否有Glue的全量读写权限——EMR 5.35+升级了内置AWS SDK版本，旧的权限配置可能出现鉴权失败。

内容的提问来源于stack exchange，提问作者Paskualino