如何为GlueContext正确传递访问密钥？跨账号S3访问遭权限拒绝

你遇到的Access Denied是因为GlueContext的S3连接逻辑不直接继承SparkSession中配置的s3a凭证。Spark用的是s3a文件系统实现，但Glue默认使用EMR的S3文件系统（com.amazon.ws.emr.hadoop.fs.S3FileSystem），两者的配置参数和凭证读取逻辑完全不同，所以你在SparkSession里设置的fs.s3a.access.key等参数对Glue动态框架根本不起作用。

方案1：临时测试——在Glue连接参数里直接传凭证 #

直接在connection_options里加accessKey和secretKey，给Glue的S3连接指定凭证：

dynamicFrame = glueContext.create_dynamic_frame.from_options(
                connection_type="s3",
                connection_options={
                    "paths": ["s3://test/enterprise_survey.csv"],
                    "accessKey": access_key,
                    "secretKey": secret_key
                },
                format="csv",
                format_options={
                    "withHeader": True
                },
            )

警告：硬编码凭证有安全风险，只适合临时测试，生产环境绝对不能这么用。

方案2：生产环境最佳实践——用IAM角色跨账号访问 #

这是AWS推荐的方式，不需要硬编码任何凭证：

1. 目标S3所在账号：给桶添加桶策略，允许当前Glue账号的执行角色访问
2. 当前Glue账号：给Notebook用的执行角色添加权限，允许访问目标S3桶
3. 确保角色的信任关系配置正确，允许Glue服务AssumeRole

配置完后，直接删掉硬编码的凭证代码，Glue会自动用执行角色的权限访问跨账号S3：

# 删掉硬编码的access_key/secret_key和SparkSession的s3a配置
sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

dynamicFrame = glueContext.create_dynamic_frame.from_options(
                connection_type="s3",
                connection_options={"paths": ["s3://test/enterprise_survey.csv"]},
                format="csv",
                format_options={
                    "withHeader": True
                },
            )

方案3：通过Hadoop配置给Glue传凭证 #

如果必须用凭证访问，可以把凭证加到GlueContext的Hadoop配置里，注意要用Glue默认的S3参数（fs.s3.*而不是s3a）：

access_key=''
secret_key=''

sc = SparkContext.getOrCreate()
# 给Hadoop配置添加S3凭证
sc._jsc.hadoopConfiguration().set("fs.s3.access.key", access_key)
sc._jsc.hadoopConfiguration().set("fs.s3.secret.key", secret_key)

glueContext = GlueContext(sc)
spark = glueContext.spark_session

dynamicFrame = glueContext.create_dynamic_frame.from_options(
                connection_type="s3",
                connection_options={"paths": ["s3://test/enterprise_survey.csv"]},
                format="csv",
                format_options={
                    "withHeader": True
                },
            )

• 确认目标S3桶的桶策略允许对应的凭证/角色执行s3:GetObject等必要操作
• 检查凭证对应的IAM用户/角色是否真的有访问目标桶的权限
• 生产环境坚决避免硬编码凭证，优先用IAM角色

内容的提问来源于stack exchange，提问作者Murtaza Mohsin