基于S3事件触发：为同文件夹下不同前缀文件配置专属Lambda函数

一、实现每个文件名前缀对应专属Lambda #

完全可以通过S3的事件通知过滤规则实现，具体步骤如下：

1. 为每个数据集创建独立的S3事件触发器

   • 进入S3控制台，找到目标存储桶，进入「属性」→「事件通知」
   • 新建通知时，「事件类型」选择s3:ObjectCreated:*（覆盖所有文件上传场景）
   • 在「过滤规则」中设置：
     • 前缀：填写对应数据集的固定前缀（比如数据集A填dataset_a_，对应文件名dataset_a_20240322.parquet）
     • 后缀：统一设为.parquet，确保仅触发parquet文件的上传事件
   • 选择要绑定的专属Lambda函数，完成创建
   • 重复此步骤，为140+个数据集分别配置对应的触发器和Lambda

2. 批量配置技巧与注意事项

   • S3单个存储桶的事件通知上限为1000个，140个完全在限额内
   • 若数据集前缀有规律（如dataset_001_至dataset_140_），可通过AWS CLI或CloudFormation批量创建，避免手动重复操作。示例CLI命令：

     aws s3api put-bucket-notification-configuration \
       --bucket your-bucket-name \
       --notification-configuration '{
         "LambdaFunctionConfigurations": [
           {
             "LambdaFunctionArn": "arn:aws:lambda:us-east-1:123456789012:function:dataset-001-handler",
             "Events": ["s3:ObjectCreated:*"],
             "Filter": {
               "Key": {
                 "FilterRules": [
                   {"Name": "prefix", "Value": "dataset_001_"},
                   {"Name": "suffix", "Value": ".parquet"}
                 ]
               }
             }
           }
         ]
       }'
     

   • 需确保Lambda的IAM权限允许接收S3事件（即S3拥有调用该Lambda的权限）

二、实现单个数据集上传触发一次的需求 #

• 如果是同一数据集每天仅上传一个文件，上述配置已满足需求：每个文件上传时触发对应Lambda一次，刚好匹配单文件单次触发的预期。
• 如果是同一数据集可能上传多个文件但需合并触发一次（如同一批次上传多个同前缀文件），则需额外处理：
  • 引入SQS作为中间层：将S3事件发送至SQS队列，Lambda订阅该队列并设置批量接收延迟（如5分钟），同一批次的多个事件会被批量处理，避免重复触发。
  • 在Lambda中添加去重逻辑：用DynamoDB记录每个数据集最近的处理日期，若当天已处理过同一数据集的事件，直接跳过后续请求。

内容的提问来源于stack exchange，提问作者choormoro