如何用Boto3发起S3对象复制后无需等待完成即可退出脚本？

你当前使用的s3.copy_object()是同步调用，会一直阻塞到整个复制流程完成才返回结果，所以才需要等4-5分钟。AWS官方提供了两种无需客户端等待的异步复制方案，完全不需要自己搞线程超时退出这种不靠谱的操作：

1. S3 Batch Operations（推荐） #

这是AWS专门为批量/大对象异步操作设计的功能，提交任务后S3会在后台独立执行复制，客户端提交完成就能直接退出，完全不依赖客户端进程存活。

核心步骤： #

1. 提前创建一个清单文件（Manifest），格式为CSV，每行写要复制的源对象的存储桶和键，比如：

src-bucket-name,large-object-key

2. 用boto3调用S3 Control API提交复制任务：

import boto3

s3_control = boto3.client('s3control')

job_response = s3_control.create_job(
    AccountId='你的AWS账号ID',
    Operation={
        'S3CopyObject': {
            'TargetResource': f'arn:aws:s3:::{dst_bucket}',
            'CannedAccessControlList': 'private'  # 根据你的权限需求配置ACL
        }
    },
    Report={
        'Bucket': f'arn:aws:s3:::{你的报告存储桶}',
        'Format': 'CSV',
        'Enabled': True,
        'Prefix': 'copy-reports/'
    },
    Manifest={
        'Spec': {
            'Format': 'S3BatchOperations_CSV_20180820',
            'Fields': ['Bucket', 'Key']
        },
        'Location': {
            'ObjectArn': f'arn:aws:s3:::{存储清单的桶}/manifest.csv'
        }
    },
    Description='异步复制3.5GiB大对象'
)

print(f"复制任务已提交，任务ID: {job_response['JobId']}")

提交完成后，你可以通过describe_job API查询任务状态，或者配置报告存储桶接收完成后的结果通知。

2. 分段复制的异步化（适合单个对象） #

如果只是复制单个大对象，也可以手动发起分段复制流程，但这种方式需要你自己管理分段，建议配合后台进程或Lambda执行，避免客户端阻塞：

1. 初始化分段上传：

s3 = boto3.client('s3')
mpu = s3.create_multipart_upload(Bucket=dst_bucket, Key=filepath)
mpu_id = mpu['UploadId']

2. 计算分段大小（建议每个分段5GiB以内，最后一段无限制），发起分段复制请求：

# 示例：复制第一个512MB分段
copy_source = {'Bucket': src_bucket, 'Key': filepath}
part = s3.copy_part(
    Bucket=dst_bucket,
    Key=filepath,
    CopySource=copy_source,
    PartNumber=1,
    UploadId=mpu_id,
    CopySourceRange='bytes=0-536870911'
)

不过这种方式如果客户端直接退出，未完成的分段会残留，需要后续清理，所以更推荐用Batch Operations。

重要提醒 #

你之前考虑的线程启动后2秒退出的方式不可行——客户端进程退出后，线程会被强制终止，S3的复制请求会中断，最终复制失败。而官方的异步方案是由AWS服务端后台执行，不受客户端进程影响，能保证复制任务完成。

内容的提问来源于stack exchange，提问作者BlueMagma