AWS Glue技术问题：已配置IAM权限仍无法通过Spark访问Glue表及数据库

我来帮你拆解这个问题——你已经配置了IAM权限但仍无法访问Glue资源，结合你提供的代码来看，核心问题大概率出在Spark目录配置覆盖了Glue Data Catalog的对接逻辑上，下面一步步帮你解决：

1. 先解决最关键的代码问题 #

你添加的那段设置spark.sql.catalogImplementation = in-memory的代码，是导致问题的直接原因：

AWS技术支持2018-03-22提供的新建议 #

newconf = sc._conf.set("spark.sql.catalogImplementation", "in-memory")
sc.stop()
sc = sc.getOrCreate(newconf)

这个配置会强制Spark使用内存中的临时目录，完全跳过了与Glue Data Catalog的对接——相当于你的Spark会话根本没去请求Glue的元数据，自然看不到任何数据库和表，哪怕IAM权限全对也没用。

修复方式： #

要么直接删除这段代码，要么把参数改成hive（Glue Data Catalog兼容Hive Metastore协议）：

# 切换为Hive兼容模式，对接Glue Data Catalog
newconf = sc._conf.set("spark.sql.catalogImplementation", "hive")
sc.stop()
sc = sc.getOrCreate(newconf)

更推荐的做法是在Glue Job控制台配置中设置参数（无需写在代码里）：在Job的「Spark configuration」中添加--conf spark.sql.catalogImplementation=hive，这样配置更稳定，也能避免代码修改带来的意外。

2. 再确认IAM权限的细节 #

虽然你说权限已配置齐全，但还是要核对几个容易遗漏的点：

• 必须包含glue:GetDatabase、glue:GetTables、glue:GetTable这些核心权限，且资源范围要覆盖你要访问的数据库/表（比如arn:aws:glue:你的区域:你的账号ID:database/*）
• 执行Glue Job的角色需要有iam:PassRole权限，确保Job能正确传递角色身份访问资源
• 如果是跨账号访问Glue资源，还要检查资源共享的RAM配置，以及对方账号的权限策略是否允许你的账号访问

3. 快速验证权限是否正常 #

可以写一段极简代码测试基础访问，排除代码逻辑干扰：

import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 用Glue客户端直接调用API，测试权限
databases = glueContext.client.get_databases()
print("已获取的Glue数据库:", [db['Name'] for db in databases['DatabaseList']])

# 用Spark SQL测试目录对接
spark = glueContext.spark_session
spark.sql("SHOW DATABASES").show()

如果这段代码能正常输出数据库列表，说明权限没问题，问题完全出在之前的catalog配置上；如果还是报错，再回头检查IAM角色和权限策略。

内容的提问来源于stack exchange，提问作者braj