如何大批量更新AWS S3存储桶对象的ACL访问权限？

你当前单线程串行调用get-object-acl再更新的方式受限于API调用频率和单进程吞吐量，效率极低，可根据场景选择以下更高性能的方案：

方案1：优先评估桶策略替代（零对象修改，即时生效） #

如果业务场景允许用桶级权限替代对象级ACL授权，该方案是成本最低的选择，全程仅需5分钟配置，不需要修改任何存量对象

• 直接在桶策略中配置对应主体的完全控制权限即可全局生效，示例配置如下：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<被授权账号ID>:root"
            },
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::<你的桶名>/*",
                "arn:aws:s3:::<你的桶名>"
            ]
        }
    ]
}

• 仅当你强制要求每个对象的ACL中必须存在对应授权条目时，才需要选择下面两个批量更新对象ACL的方案

方案2：使用AWS S3 Batch Operations（千万级对象批量操作最优方案） #

这是AWS官方原生的大规模S3对象批量操作工具，专门针对百万/千万级对象的批量处理场景，不需要自行维护并发逻辑：

• 操作流程：
  1. 直接在S3控制台生成目标桶的全量对象清单，无需自行遍历桶获取对象key
  2. 创建S3 Batch Operations任务，操作类型选择「替换对象ACL」，配置要授予完全控制权限的主体
  3. 提交任务后AWS会自动调度资源并行执行，4200万对象通常1天内即可全部处理完成
  4. 任务执行完成后会自动生成明细报告，可直接查看成功、失败的对象列表

方案3：并行化CLI调用（适合小成本自行实现的场景） #

将单线程串行调用改为多线程并行调用，可将处理效率提升数十到上百倍，每日处理量可轻松突破百万级：

• 首先调整AWS CLI的并发配置，编辑~/.aws/config添加如下参数：

[default]
s3 =
  max_concurrent_requests = 100
  max_queue_size = 10000
  multipart_threshold = 64MB
  multipart_chunksize = 16MB

• 无需先调用get-object-acl获取现有ACL，直接调用put-object-acl指定授权即可，每个对象仅需1次API调用，比你当前的流程性能直接提升一倍
• 结合GNU Parallel实现并行调用的示例命令：
  aws s3 ls s3://<你的桶名> --recursive | awk '{print $4}' | parallel -j 50 aws s3api put-object-acl --bucket <你的桶名> --key {} --grant-full-control id=<被授权账号的Canonical ID>
• 命令中的-j 50为并发数，可根据你的网络情况调整到30~100区间；如果对象key存在特殊字符，需要先对key做转义处理避免执行报错

内容的提问来源于stack exchange，提问作者Muthu Babu