从EMR访问已有Glue Catalog失败，该如何排查？

1. EMR集群IAM角色权限 #

• 确认EMR集群使用的**服务角色（EMR_DefaultRole）和实例配置文件角色（EMR_EC2_DefaultRole）**具备Glue Catalog访问权限：
  • 需包含glue:GetDatabase、glue:GetTables等核心Glue操作权限，可通过附加AmazonGlueConsoleFullAccess策略或自定义精细化权限实现。
  • 检查角色信任策略，确保允许EMR服务与EC2实例调用Glue API。

2. Spark元数据存储配置 #

• 启动spark-shell时需明确指定使用Glue Catalog作为元数据存储，或在集群创建阶段配置全局生效：
  • 启动命令添加参数：

    spark-shell --conf spark.sql.catalogImplementation=glue
    

  • 集群创建时通过Spark分类配置全局生效：

    [
      {
        "Classification": "spark-hive-site",
        "Properties": {
          "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
        }
      }
    ]
    

3. 区域一致性验证 #

• 确保Glue Catalog与EMR集群处于同一AWS区域，跨区域无法直接访问Glue元数据（默认无跨区域复制支持）。

4. Glue数据库权限检查 #

• 确认Glue Catalog中的数据库未设置资源级权限限制，EMR集群的IAM角色需拥有该数据库的具体访问权限，而非仅全局Glue权限。
• 执行show databases;时注意名称拼写，Glue数据库名称不区分大小写，但Spark可能存在严格匹配场景。

5. EMR版本兼容性 #

• 验证使用的EMR版本是否支持Glue Catalog集成：仅EMR 5.8.0及以上版本支持将Glue作为元数据存储，低版本需升级集群。

内容的提问来源于stack exchange，提问作者Prabodh Mhalgi