如何通过Lambda仅处理S3各文件夹中的首个文件？

方案1：S3事件触发Lambda + DynamoDB状态校验 #

这是精准控制的最优方案，核心用DynamoDB记录已处理的level2-xx文件夹，避免无效处理：

• 配置S3桶的ObjectCreated事件，触发目标Lambda函数
• Lambda执行逻辑：
  1. 从S3事件中解析对象路径，提取唯一标识level2-xx的前缀（例如从s3://bucket-name/level1/level2-01/filexx.txt中提取level1/level2-01）
  2. 查询DynamoDB表，检查该前缀是否已有处理记录
  3. 无记录时：
     • 调用S3 head_object API提取当前文件元数据
     • 执行元数据的后续业务逻辑
     • 向DynamoDB写入该前缀的处理标记（可附加处理时间）
  4. 已有记录时：直接跳过当前文件
• 优势：仅处理每个文件夹的首个文件，无无效调用；DynamoDB读写成本极低，适配大量文件夹场景
• 可选优化：给DynamoDB记录设置TTL，若需定期重置处理状态（如每年重新提取一次），可自动清理旧记录

方案2：SQS转发事件+前置过滤+状态校验（优化原方案2） #

SQS事件过滤本身无法实现“首个文件”的判断，但可通过前置过滤减少事件量，再结合状态校验：

• 配置S3事件时，设置前缀过滤为level1/，仅转发目标路径下的事件到SQS；还可添加.txt后缀过滤进一步缩小范围
• 配置Lambda监听SQS，执行逻辑同方案1，通过DynamoDB判断是否为文件夹首个文件
• 优势：减少Lambda触发次数，降低无意义的调用开销

方案3：定时批量扫描（适合非实时需求） #

若对元数据提取的实时性要求不高，可采用定时扫描方案：

• 用EventBridge定时触发Lambda（如每日一次）
• Lambda执行逻辑：
  1. 调用S3 list_objects_v2，设置Delimiter='/'列出level1/下所有level2-xx文件夹前缀
  2. 遍历每个前缀，查询DynamoDB确认是否已处理
  3. 对未处理的前缀，列出该文件夹下所有文件，按LastModified排序后取首个文件，提取元数据
  4. 写入DynamoDB处理记录，完成后续业务
• 优势：无需实时监听S3事件，适合批量处理场景，避免大量实时事件触发
• 注意：文件夹数量过大时需分页处理，防止Lambda超时

关于SQS事件过滤的说明 #

SQS的Lambda事件过滤仅支持基于事件固有属性的静态匹配（如对象键的前缀、后缀、等值匹配），无法实现依赖历史状态的“首个文件”判断——因为过滤是无状态的，无法获取该文件夹的事件历史。必须结合外部存储（如DynamoDB）实现状态校验。

内容的提问来源于stack exchange，提问作者Kamlesh Gallani