基于Python搭建AWS异步Lambda系统的调用与数据传输问题求助

现有架构核心问题 #

• 你使用InvocationType = 'Event'异步调用Lambda时，调用方（invoker）仅会收到AWS的消息入队确认，不会等待也无法接收被调用函数（data parsing）的返回值，原本期待invoker接收返回的设计不符合异步调用的基础特性
• 你设计的「data parsing回调invoker再转发存储API」的流程完全多余，平白增加了调用成本、出错概率和延迟，还会导致invoker逻辑冗余
• 现有data parsing代码存在语法错误：回调invoker的invoke调用缺少闭合括号、未传入Payload参数，且没有引入requests依赖无法调用外部API

最优解决方案 #

直接将结果转发存储API的逻辑迁移到data parsing函数中，无需回调invoker，调整后流程完全符合你的需求：

1. invoker接收客户端POST请求，校验通过后异步触发data parsing，直接返回200OK给客户端
2. data parsing在后台完成数据处理，直接调用存储API上传结果
3. 全程客户端无等待，后台任务异步执行，没有多余的调用环节

修正后的代码 #

invoker函数代码

import json
import boto3

client = boto3.client('lambda')

def lambda_handler(event,context):
    # 此处补充你原有的请求校验逻辑
    # 异步触发data parsing
    client.invoke(
        FunctionName = '替换为你的data parsing函数名',
        InvocationType = 'Event',
        Payload = json.dumps(event)
    )
    # 直接返回200给客户端
    return {'statusCode': 200}

data parsing函数代码

import json
import requests
import boto3
import time

def lambda_handler(event,context):
    # 你的原有数据查询处理逻辑
    # Output为你处理完成的JSON数据
    Output = {} # 替换为你的实际处理结果
    
    # 直接调用存储API上传结果
    storage_api_link = '替换为你的存储API地址'
    headers = {'Content-Type': 'application/json'}
    requests.put(
        storage_api_link,
        data=json.dumps(Output),
        headers=headers
    )
    
    # 按需添加调用结果校验、失败重试逻辑即可
    return {
        'statusCode': 200,
        'body': json.dumps('处理完成')
    }

额外优化建议 #

• 给invoker的执行角色添加仅允许调用data parsing函数的最小权限，给data parsing的执行角色添加存储API的访问权限（如果是公网API需要给Lambda配置公网访问能力）
• 可以添加死信队列（DLQ）捕获data parsing处理失败的任务，避免数据丢失
• 若处理后的数据量较大，可以先将结果存入S3，再给存储API发送S3地址通知，避免PUT请求超时或payload过大

内容的提问来源于stack exchange，提问作者John-Ta