如何通过AWS SQS批量执行POST、GET请求并存储响应

核心架构逻辑 #

整体采用「请求入队→队列触发Lambda执行→持久化响应」的链路，可适配批量POST请求的调度需求，同时支持扩展GET、PUT等其他HTTP请求类型。

具体实现步骤 #

• 创建SQS队列
  若要求请求严格按入队顺序执行则选择FIFO队列，无顺序要求选择标准队列即可。需将队列的可见性超时配置为「HTTP请求最大执行时间+Lambda函数超时时间」的总和，避免同一条请求被重复触发执行。
• 改造请求入队逻辑
  将原有直接触发Lambda发请求的逻辑，调整为先把请求全量参数序列化后推到SQS队列，消息体需包含：请求URL、请求头、请求体、请求类型、重试次数标记、全局唯一请求ID等必要字段。
  批量入队可直接调用SQS的SendMessageBatch接口，单次最多可提交10条消息。
• 配置SQS触发Lambda
  给你已完成开发的请求发送Lambda函数添加SQS触发器，批量处理大小可根据业务吞吐量自定义配置。在Lambda原有逻辑中新增异常捕获规则：若HTTP请求执行失败，将消息体重试次数+1后重新塞回队列；达到设定的最大重试次数后，直接将消息转发至死信队列即可。
• 扩展多请求类型支持
  原有Lambda仅适配POST请求，只需新增请求类型判断逻辑，从SQS消息体读取method字段对应执行GET、PUT请求即可，无需改动核心调度逻辑。
• 响应存储实现
  根据业务查询需求二选一即可：
  • 对响应结构化查询需求高的场景，直接存储到DynamoDB，主键用全局唯一请求ID，字段覆盖请求参数、HTTP状态码、响应体、响应时间、错误信息等内容
  • 响应体大、查询频率低的场景，将响应序列化后存储到S3，对象名用全局唯一请求ID，同时可将S3对象路径同步存储到DynamoDB做检索索引
    webhook响应的存储逻辑和上述规则完全一致，收到webhook回调后按相同规则写入存储介质即可。

注意事项 #

• 必须给SQS配置死信队列，收集多次重试仍然失败的请求，方便后续问题排查
• 若调用的外部API有频率限制，可给Lambda配置并发上限，或调整SQS消息拉取速度避免触发限流
• 不要将API密钥等敏感信息写入SQS消息体，统一存储到Secrets Manager，Lambda执行时再实时读取

内容的提问来源于stack exchange，提问作者tenet testuser1