如何仅通过AWS Lambda实现Amazon S3指定前缀的新增对象复制？

核心实现思路 #

完全不依赖S3原生复制、同步托管能力，核心是利用Lambda触发S3服务端侧拷贝接口，配合断点状态记录实现幂等增量同步，适配每20分钟写入新数据的场景，全程不需要拉取对象内容到Lambda运行环境，无数据转换开销。

基础组件配置 #

• Lambda运行时配置：选择Python 3.12/Node.js 20这类轻量运行时，配256MB内存、60秒超时即可——因为全程只调用S3 API，不处理文件二进制内容，哪怕数GB的大对象也不会触发内存限制。
• 权限配置：给Lambda附加最小权限策略，仅开放：源桶指定前缀范围的s3:ListBucket、s3:GetObject权限，目标桶对应路径的s3:PutObject、s3:PutObjectAcl权限，禁止授予全桶通配的*权限。
• 触发配置：不用配置S3写入事件触发（避免批量写入时产生大量并发调用浪费成本），用EventBridge设置每20分钟定时触发一次Lambda，和新数据写入节奏完全匹配。

Lambda内部核心执行逻辑 #

按以下顺序实现，全程保证幂等、可断点续传：

1. 断点状态读取：提前在目标桶创建专门的状态存储前缀（比如.lambda-copy-state/），存一个固定的状态JSON文件，记录上一轮同步完成时、按Key字典序排列的最后一个对象Key。每次Lambda启动时先拉取这个状态文件，拿到上次的偏移位置。

   利用S3 ListObjectsV2接口返回结果按Key字典序排序的特性，这种偏移方式天然不会漏扫、不会重复扫描已处理对象。

2. 范围扫描：调用ListObjectsV2接口时，直接指定需要复制的源桶指定前缀作为扫描范围，同时设置StartAfter参数为上次记录的偏移Key，只拉取后续的新对象，不需要每次全量遍历桶内所有对象。
3. 服务端侧循环拷贝：对每个扫描到的新对象，直接调用S3 copy_object接口完成拷贝——这个接口是AWS内部服务端直接跨桶搬移对象，Lambda不需要接收、传输对象的二进制内容，零转换开销，对象的元数据、存储类会自动透传。

   如果遇到超过5GB的大对象，直接调用S3分片拷贝API，同样不需要把文件内容读到Lambda内存即可完成拷贝。

4. 进度回写：每处理完单页返回的最多100个对象（ListObjectsV2的单页最大返回上限），就把当前页最后一个对象的Key更新到之前存的状态文件里。哪怕Lambda中途超时、报错中断，下次触发时可以直接从上次的进度继续，不会重复拷贝、也不会漏掉新对象。

边界场景处理 #

• 重复对象去重：因为基于Key的字典序偏移做进度记录，哪怕Lambda重复触发，遇到已经在状态记录之前的Key会直接跳过，不会产生重复拷贝。
• 临时错误重试：对copy_object调用时的临时限流、服务端5xx错误，加简单的指数退避重试逻辑，不要因为单个对象的临时失败中断整个同步流程。
• 限流规避：单Lambda实例顺序处理扫描到的对象，不要开多并发处理，避免短时间大量S3 API调用触发服务限流。

内容的提问来源于stack exchange，提问作者Xoxo