如何避免Lambda因S3多文件上传重复触发？

方案1：配置S3事件通知的批量触发机制 #

AWS S3支持事件批量触发配置，你可以设置时间窗口和最大事件数，让S3在积累足够事件或等待指定时间后一次性触发Lambda，而非每个文件上传都触发：

• 操作步骤：
  1. 进入S3控制台，找到目标存储桶的「事件通知」配置
  2. 编辑或新建Lambda触发规则
  3. 在「高级设置」中开启「批处理」，设置「批处理窗口」（比如60秒，根据AppFlow同步时长调整）和「最大事件数」（比如100）
  4. 保存后，同一批上传的多个Parquet文件会被合并成一个事件触发Lambda一次

方案2：Lambda内加去重逻辑，配合DynamoDB实现幂等 #

通过DynamoDB记录最近的触发请求，避免短时间内重复触发作业：

• 实现思路：
  1. 创建DynamoDB表，主键用「S3前缀+按分钟取整的时间戳」作为去重标识
  2. Lambda触发时，生成去重键并查询DynamoDB是否存在该记录
  3. 若不存在，写入记录并设置TTL（比如2分钟，覆盖AppFlow同步最长时长），再触发Databricks作业
  4. 若记录已存在，直接返回不执行触发逻辑
• 示例Python代码片段：

  import boto3
  import time
  
  dynamodb = boto3.resource('dynamodb')
  table = dynamodb.Table('LambdaTriggerDeduplication')
  
  def lambda_handler(event, context):
      # 提取S3前缀并生成去重键
      s3_prefix = event['Records'][0]['s3']['object']['key'].rsplit('/', 1)[0]
      current_minute = int(time.time() // 60)
      dedup_key = f"{s3_prefix}_{current_minute}"
  
      # 检查是否已触发过
      response = table.get_item(Key={'dedup_key': dedup_key})
      if 'Item' in response:
          return {'statusCode': 200, 'body': '重复触发，已跳过'}
  
      # 写入去重记录并设置TTL
      table.put_item(
          Item={
              'dedup_key': dedup_key,
              'ttl': int(time.time()) + 120
          }
      )
  
      # 触发Databricks作业的逻辑
      # ... 此处编写你的Databricks作业调用代码
      return {'statusCode': 200, 'body': '作业触发成功'}
  

方案3：调整AppFlow输出设置，生成单个Parquet文件 #

如果同步数据量不大，可修改AppFlow配置让单次同步只生成一个文件，从根源避免多文件触发：

• 操作步骤：
  1. 进入AWS AppFlow控制台，打开你的同步流
  2. 编辑目标S3的配置，找到「文件设置」
  3. 关闭「分割文件」选项，或设置足够大的「文件大小阈值」（比如10GB），确保单次同步仅生成一个文件
• 注意：该方案仅适用于小数据量场景，数据量过大时AppFlow仍会自动分片。

方案4：通过EventBridge中转事件，实现批量触发 #

将S3事件发送到EventBridge，利用其批量事件处理能力合并触发请求：

• 操作步骤：
  1. 在S3事件通知中，选择目标为「EventBridge」，配置事件类型为「对象创建」
  2. 进入EventBridge控制台，创建新规则匹配S3的对象创建事件
  3. 在规则「目标」配置中选择你的Lambda函数，开启「批量设置」并设置「批处理窗口」（比如60秒）
  4. 保存规则后，EventBridge会合并同一时间窗口内的多个S3事件，仅触发Lambda一次

内容的提问来源于stack exchange，提问作者Logan