如何持续将新增S3文件复制到另一S3存储桶？已遇boto3 copy_object瓶颈

针对你遇到的动态新增文件无法自动复制的问题，下面提供两种实用的解决方案，完全适配新文件动态出现的场景：

方法一：S3事件触发Lambda函数（灵活自定义） #

这是最常用的动态处理方案，通过S3的对象创建事件自动触发Lambda，实时获取新增文件的Key并执行复制。

步骤： #

1. 创建Lambda函数
   选择Python运行时，编写如下代码（替换目标桶名称）：

   import boto3
   
   s3 = boto3.client('s3')
   TARGET_BUCKET = 'your-target-bucket-name'
   
   def lambda_handler(event, context):
       # 从S3事件中提取源桶和新增文件的Key
       record = event['Records'][0]['s3']
       source_bucket = record['bucket']['name']
       source_key = record['object']['key']
       
       # 执行跨桶复制
       try:
           s3.copy_object(
               Bucket=TARGET_BUCKET,
               Key=source_key,
               CopySource={'Bucket': source_bucket, 'Key': source_key}
           )
           print(f"文件 {source_key} 已成功复制到 {TARGET_BUCKET}")
       except Exception as e:
           print(f"复制失败: {str(e)}")
           raise e
   

2. 配置S3触发器
   在Lambda函数的“触发器”标签中添加S3触发器：

   • 选择源桶
   • 事件类型选“所有对象创建事件”（或仅选“Put”）
   • 可设置前缀/后缀过滤（比如只复制特定类型的文件）

3. 配置Lambda权限
   给Lambda的执行角色添加以下权限（通过IAM策略）：

   • 允许对源桶执行s3:GetObject、s3:ListBucket
   • 允许对目标桶执行s3:PutObject

方法二：S3原生复制功能（托管式无代码） #

如果不需要自定义逻辑，直接用S3自带的跨区域/同区域复制功能，完全托管，无需编写代码。

步骤： #

1. 打开源桶的管理控制台，找到“复制”选项
2. 创建复制规则：
   • 选择目标桶（支持同区域或跨区域）
   • 设置复制范围：可选择所有对象，或通过前缀/后缀过滤特定文件
   • 配置复制权限：确保S3服务角色能访问源桶的对象，并有权写入目标桶

两种方案对比： #

• Lambda触发：适合需要自定义处理（比如修改文件名、过滤特定文件、数据转换）的场景，灵活性高
• S3原生复制：适合简单的全量/规则化复制，无需维护代码，运维成本低

之前你用copy_object需要指定Key是因为没有结合事件触发机制，现在通过上述方案，新增文件的Key会自动被捕获并传入复制逻辑，完美适配动态场景。

内容的提问来源于stack exchange，提问作者anonggd