如何在AWS中基于JSON内容条件触发S3调用Lambda？

方案一：基于S3 Select+SQS的轻量前置检查（无需修改上传流程） #

适合无法调整文件上传逻辑的场景，通过轻量检查过滤无效请求：

• 第一步：配置S3事件通知，仅将.json文件的上传事件发送到SQS标准队列，而非直接触发业务Lambda。这一步先过滤掉非JSON格式的文件，减少后续处理量。
• 第二步：创建一个极简的前置Lambda函数，将SQS队列设为它的触发源。这个Lambda只做一件事：用S3 Select查询目标JSON文件的process字段值，无需下载整个文件。
  • 核心代码示例（Python）：

    import boto3
    
    s3 = boto3.client('s3')
    lambda_client = boto3.client('lambda')
    
    def lambda_handler(event, context):
        for record in event['Records']:
            bucket = record['s3']['bucket']['name']
            key = record['s3']['object']['key']
            
            # 用S3 Select查询process字段
            response = s3.select_object_content(
                Bucket=bucket,
                Key=key,
                ExpressionType='SQL',
                Expression="SELECT s.process FROM S3Object s LIMIT 1",
                InputSerialization={'JSON': {'Type': 'DOCUMENT'}},
                OutputSerialization={'JSON': {}}
            )
            
            # 解析查询结果
            process_flag = None
            for event in response['Payload']:
                if 'Records' in event:
                    data = event['Records']['Payload'].decode('utf-8')
                    if data:
                        process_flag = eval(data).get('process')
            
            # 仅当process为true时，调用业务Lambda
            if process_flag is True:
                lambda_client.invoke(
                    FunctionName='你的业务Lambda函数名',
                    InvocationType='Event',
                    Payload=b''  # 可按需传递S3对象信息
                )
        return {'statusCode': 200}
    

• 优势：S3 Select仅读取文件中指定字段，带宽和计算成本远低于完整下载解析；SQS队列可缓冲百万级事件，避免Lambda并发超限。

方案二：基于S3对象元数据过滤（最优成本方案） #

如果能修改文件上传流程，让上传方在上传JSON文件时添加自定义元数据，可直接通过S3事件过滤实现零无效调用：

• 要求上传方在上传时，为S3对象添加元数据x-amz-meta-process: true（当需要处理时）或x-amz-meta-process: false（无需处理时）。
• 配置S3事件通知时，添加元数据过滤规则：
  • 过滤类型选择「元数据」
  • 键填x-amz-meta-process
  • 值填true
• 这样S3只会将符合元数据条件的文件上传事件发送到业务Lambda，完全跳过不符合条件的文件，无额外中间成本。

方案对比 #

内容的提问来源于stack exchange，提问作者johnsontroye