EMR集群配置Glue元存储角色ARN后执行Spark SQL报错求助

问题定位 #

从报错日志HiveConf of name hive.metastore.glue.role.arn does not exist可以确定，Hive配置体系未读取到指定的Glue角色ARN参数，导致Glue客户端初始化失败，进而无法访问元存储。

调试与解决步骤 #

• 确认配置层级正确性
  必须在EMR控制台的软件配置 -> Spark -> 配置分类选择spark-hive-site后添加hive.metastore.glue.role.arn参数。若将该参数放在普通spark-defaults配置组中，HiveConf无法读取到对应值。

• 验证集群节点的配置文件
  登录EMR主节点，查看/etc/hive/conf/hive-site.xml，确认文件中存在hive.metastore.glue.role.arn配置项。若不存在，说明集群启动时未加载该配置，可通过两种方式修复：

  1. 重新配置集群并重启
  2. 提交作业时通过spark-submit显式指定参数：

     spark-submit --conf hive.metastore.glue.role.arn=arn:aws:iam::omitted:role/EMR_DefaultRole your-job.jar
     

• 检查角色权限与信任关系
  配置存在仍报错时，需验证角色的权限与信任策略：

  • 确保EMR_DefaultRole拥有Glue元存储访问权限，可直接附加AWSGlueFullAccess策略，或自定义包含glue:GetDatabase、glue:GetTables等必要权限的策略
  • 确认角色信任策略允许EMR服务扮演该角色，示例信任策略：

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "Service": "elasticmapreduce.amazonaws.com"
          },
          "Action": "sts:AssumeRole"
        }
      ]
    }
    

• 检查EMR版本兼容性
  hive.metastore.glue.role.arn参数从EMR 5.10.0版本开始引入，若集群版本低于该版本，需升级EMR版本以支持该配置。

• 调试配置加载状态
  在作业代码中添加以下片段，打印Hive配置中的参数值，确认是否被正确加载：

  import org.apache.hadoop.hive.conf.HiveConf
  val hiveConf = new HiveConf()
  println("hive.metastore.glue.role.arn: " + hiveConf.get("hive.metastore.glue.role.arn"))
  

  若输出为空，说明配置未被加载，需回到配置环节重新排查。

内容的提问来源于stack exchange，提问作者bpgeck