AWS Glue跨账号写入S3：本地作业角色如何扮演远程IAM角色？

一、能否仅在写入远程S3时扮演远程角色？ #

可以。这种按需扮演角色的方式能遵循权限最小化原则，仅在需要写入远程S3的环节获取临时权限，避免长期持有高权限。

二、具体实现步骤 #

1. 给本地Glue角色添加AssumeRole权限 #

给本地账号的Glue-job-role附加以下权限策略，允许其调用STS服务扮演远程角色：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "arn:aws:iam::远程账号ID:role/External-clients-role"
        }
    ]
}

替换其中的远程账号ID为实际的远程AWS账号ID。

2. 在Glue作业代码中临时获取远程角色凭证 #

仅在执行远程S3写入操作前，调用STS获取临时凭证，并用该凭证初始化S3客户端或配置Spark。

Python作业代码示例（普通S3写入）：

import boto3
from botocore.exceptions import ClientError

def get_remote_credentials():
    sts_client = boto3.client('sts')
    try:
        resp = sts_client.assume_role(
            RoleArn='arn:aws:iam::远程账号ID:role/External-clients-role',
            RoleSessionName='Glue-Remote-S3-Write-Session'
        )
        return resp['Credentials']
    except ClientError as e:
        raise RuntimeError(f"获取远程角色凭证失败: {e.response['Error']['Message']}")

# 执行ETL处理逻辑...

# 写入远程S3时切换权限
remote_creds = get_remote_credentials()
remote_s3 = boto3.client(
    's3',
    aws_access_key_id=remote_creds['AccessKeyId'],
    aws_secret_access_key=remote_creds['SecretAccessKey'],
    aws_session_token=remote_creds['SessionToken']
)

# 执行写入操作
remote_s3.put_object(
    Bucket='远程目标存储桶名',
    Key='output/result.parquet',
    Body=ETL输出数据
)

Spark写入配置示例：

如果用Spark DataFrame写入远程S3，需要修改Hadoop配置以使用临时凭证：

# 获取远程凭证后配置Spark
remote_creds = get_remote_credentials()
spark._jsc.hadoopConfiguration().set("fs.s3a.access.key", remote_creds['AccessKeyId'])
spark._jsc.hadoopConfiguration().set("fs.s3a.secret.key", remote_creds['SecretAccessKey'])
spark._jsc.hadoopConfiguration().set("fs.s3a.session.token", remote_creds['SessionToken'])

# 执行Spark写入
df.write.mode("overwrite").parquet("s3a://远程目标存储桶名/output/")

3. 确认远程角色信任关系有效性 #

确保远程账号的External-clients-role信任策略已正确添加本地Glue-job-role为信任主体，示例信任策略：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::本地账号ID:role/Glue-job-role"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

替换其中的本地账号ID为实际的本地AWS账号ID。

三、其他可行方法 #

1. 直接配置远程S3桶的跨账号权限 #

在远程S3桶的桶策略中添加允许本地Glue-job-role执行写入操作的权限，无需扮演远程角色。示例桶策略：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::本地账号ID:role/Glue-job-role"
            },
            "Action": ["s3:PutObject", "s3:GetObject"],
            "Resource": "arn:aws:s3:::远程目标存储桶名/*"
        }
    ]
}

这种方式操作更简单，但权限会覆盖整个作业生命周期，权限粒度不如按需扮演角色精细。

2. 使用AWS Glue Data Catalog跨账号共享（针对元数据场景） #

如果ETL作业需要访问远程账号的Data Catalog元数据，可以配置跨账号Catalog共享，但此方式仅解决元数据访问问题，写入S3仍需配合上述权限配置。

内容的提问来源于stack exchange，提问作者saurabh.kg001