无法使用--recursive时批量复制S3对象的高效方案

方案1：结合并行工具批量执行AWS CLI命令 #

逐个执行aws s3 cp速度慢是因为串行处理，你可以借助shell并行工具同时发起多个复制请求，充分利用带宽：

1. 先整理源与目标路径到文本文件（比如s3_copy_list.txt），每行格式为源路径 目标路径，记得替换{date}和{mode}为实际值：

s3://bucket1/path/to/object1 s3://bucket2/different/path/2024-05-20/prod/object1
s3://bucket1/path/to/object2 s3://bucket2/different/path/2024-05-20/prod/object2
s3://bucket1/path/to/object3 s3://bucket2/different/path/2024-05-20/prod/object3

2. 用xargs实现并行：

cat s3_copy_list.txt | xargs -n 2 -P 10 aws s3 cp

• -n 2：每次取2个参数（源和目标）传给aws s3 cp
• -P 10：同时启动10个并行进程，可根据带宽和AWS限制调整（建议不超过20，避免触发限流）

或者用GNU Parallel（需先通过包管理器安装）：

parallel --colsep ' ' aws s3 cp {} :::: s3_copy_list.txt

它会自动优化并行数，支持更复杂的参数逻辑。

方案2：用AWS SDK编写并行复制脚本 #

如果需要动态生成路径、错误重试等灵活逻辑，用Python的boto3 SDK写脚本，通过线程池实现并行：

import boto3
from concurrent.futures import ThreadPoolExecutor

# 替换为实际参数
SOURCE_BUCKET = 'bucket1'
TARGET_BUCKET = 'bucket2'
DATE = '2024-05-20'
MODE = 'prod'

# 源对象的相对路径（去掉bucket前缀）
source_keys = [
    'path/to/object1',
    'path/to/object2',
    'path/to/object3'
]

s3 = boto3.client('s3')

def copy_object(source_key):
    # 生成目标键
    target_key = f'different/path/{DATE}/{MODE}/{source_key.split("/")[-1]}'
    try:
        s3.copy_object(
            Bucket=TARGET_BUCKET,
            Key=target_key,
            CopySource={'Bucket': SOURCE_BUCKET, 'Key': source_key}
        )
        print(f"复制成功: {source_key} -> {target_key}")
    except Exception as e:
        print(f"复制失败 {source_key}: {str(e)}")

# 并行执行，线程数设为10
with ThreadPoolExecutor(max_workers=10) as executor:
    executor.map(copy_object, source_keys)

方案3：AWS Batch/Lambda（超大规模场景） #

如果对象数量上千级，可采用无服务器批量处理方案：

• 将所有复制任务消息发送到SQS队列
• 配置Lambda函数读取队列消息，执行单个对象复制
• 调整Lambda并发数控制并行度

这种方式由AWS自动扩容，无需管理服务器，适合大规模复制场景。

注意事项 #

• 并行数不要过高，避免触发S3 API请求限制（默认每秒5500次）
• 跨区域复制时，适当降低并行度，避免带宽瓶颈
• 大对象（>1GB）会自动触发分段复制，并行时注意内存和带宽占用

内容的提问来源于stack exchange，提问作者cruzlorite