如何实现AWS Lambda分发任务后立即返回响应并完成后续处理？

一、解决Lambda返回后终止执行的问题 #

针对你遇到的Lambda返回响应后无法继续执行任务的问题，这里提供两种可靠的落地方案：

方案1：Step Functions编排异步流程 #

这是最贴合你需求的标准化方案，流程设计如下：

• 第一步：API Gateway触发初始Lambda，生成唯一token并存入数据库，直接将token返回给客户端。
• 第二步：初始Lambda调用Step Functions状态机，传入token和任务参数。
• 第三步：Step Functions触发处理任务的Lambda（专门用于网页抓取/下载），将该Lambda的超时时间设置到最大值15分钟，完全覆盖你1分钟以上的任务需求。
• 第四步：处理Lambda完成任务后，将结果存入数据库和S3存储桶，同时更新数据库中对应token的任务状态为“完成”。

通过这种方式，初始Lambda仅负责生成token和触发流程，不会被后续任务阻塞，客户端能快速拿到响应；而核心处理任务在独立Lambda中异步执行，不受初始Lambda返回的影响。

方案2：SQS异步任务队列 #

如果不想使用Step Functions，也可以选择轻量的SQS队列方案：

• 初始Lambda生成token、完成数据库存储并返回响应后，将任务参数和token发送至SQS队列。
• 配置处理Lambda作为SQS的触发器，队列有消息时自动启动，执行网页抓取/下载任务，完成后更新数据库和S3。

二、网页抓取/下载任务的服务选型 #

针对Python编写的网页抓取任务，推荐以下适配性强的服务：

• 专用处理Lambda：最直接的选择，完美支持Python环境，可直接使用requests、BeautifulSoup等常用库，只需调整超时时间至满足任务需求即可。若任务时长超过15分钟，可通过Step Functions拆分任务，或选用下方服务。
• ECS/EKS容器服务：如果任务需要更长运行时间、更多计算资源（如多线程抓取、JS渲染场景），可将Python脚本打包为Docker容器，部署到ECS或EKS中。容器支持自定义资源配置，运行时间不受Lambda限制。
• Batch批量处理服务：适合批量网页抓取场景，能自动管理计算资源，按需调度实例，任务完成后自动释放资源，成本可控性强。

三、客户端查询流程 #

无论采用哪种方案，客户端都可通过第二个API调用查询Lambda，根据token从数据库获取任务状态；若结果存储在S3中，可生成预签名URL返回给客户端用于下载。

内容的提问来源于stack exchange，提问作者Leandro Gamarra