如何在指定时长后停止所有AWS Compute及Event Bus消息投递

任务背景 #

URL爬取任务要求启动30秒后强制终止所有AWS Lambda，最终以已爬取URL数量作为评估指标。
若采用单Lambda读取文件循环爬取并写入数据库的简单架构，直接将Lambda超时时间设为30秒即可满足要求。为了学习实践及满足扩容需求，实际采用架构逻辑为：Fargate下载大文件→拆解URL为事件投递到Event Bus→触发并发Lambda执行爬取。
该架构下即使设置Lambda超时，Fargate仍会持续推送事件导致Lambda重复运行，仅配置Lambda超时无法满足需求。

核心需求梳理 #

1. 实现30秒后停止Event Bus的消息收发或投递
2. 支持一键停止所有相关计算资源
3. 现有死信队列/SNS存储错误、日志统计爬取量方案不满足评估要求的前提下，提供其他可行方案

已排除方案：为消息和队列添加延迟，该方案无法实现指定时间点后统一添加延迟的需求，不适用

具体可行方案 #

1. Event Bus 30秒停止投递实现 #

• 任务启动时同步触发一个定时Lambda，30秒后自动更新Event Bus的规则匹配策略，将所有匹配爬取事件的规则调整为直接归档到S3而非投递给业务Lambda，既不会丢失历史事件，也能完全终止新事件的投递
• 轻量化实现方案：给所有爬取事件统一添加task_start_timestamp属性，在业务Lambda的入口处先做时间校验，当前时间与启动时间戳差值超过30秒就直接返回不执行爬取逻辑，不需要修改Event Bus配置，实现成本极低

2. 一键停止所有关联资源实现 #

• 采用AWS Step Functions编排整个任务流，将Fargate任务、Lambda并发配置、Event Bus规则都纳入同一个工作流管理，30秒到期后Step Functions自动执行预置的清理步骤：停止Fargate运行任务、将爬取Lambda的并发配额临时设为0、禁用Event Bus对应投递规则，全程自动化无需人工操作
• 轻量实现方案：提前给所有爬取任务关联的资源打上同一个自定义标签，比如task_type:url_crawl，开发一个专属清理Lambda绑定30秒定时触发器，到期后通过标签批量调用对应资源的停止/禁用接口，后续新增资源只需要同步标签即可，维护成本很低

3. 爬取数量统计补充方案 #

• 新增一个DynamoDB表作为原子计数器，Lambda每成功爬取一个URL就调用UpdateItem的ADD操作做原子累加，30秒到期后直接读取计数器数值即可，不需要解析日志，统计精度更高，还可以存储每条爬取成功的URL记录方便后续溯源
• 如果不需要存储爬取明细，也可以使用AWS CloudWatch自定义指标，Lambda爬取成功时上报一次指标点，到期后直接在CloudWatch中拉取指标总和即可，不需要额外维护数据库，集成更简单

内容的提问来源于stack exchange，提问作者Muhammad Mubashirullah Durrani