SNS触发Lambda场景下的外部服务TPS限流方案咨询
该场景的标准解决方案
针对需要精确限制Lambda每秒调用次数的需求,AWS生态下有三类成熟的落地方案:
方案1:SQS队列 + Lambda批量触发(最推荐,无额外组件依赖)
- 调整现有链路:取消SNS直接触发Lambda的配置,先将SNS消息投递到SQS标准队列,再将Lambda配置为该SQS队列的触发器
- 核心配置:设置Lambda SQS触发器的
批量大小为T,批量接收窗口为1秒,同时将Lambda的预留并发数设置为1。该配置下Lambda每秒钟最多只会拉取1批最多T条消息,刚好将每秒处理的请求数控制在T以内 - 性能扩展:如果单Lambda实例处理T条消息的性能不足,可以将预留并发数调整为N,同时将单批大小调整为
T/N,整体每秒总处理量仍会严格控制在T以内
方案2:API Gateway限流层中转
- 不修改SNS侧配置的前提下,在SNS和Lambda之间新增一层API Gateway,将API Gateway的每秒速率限制设置为T,SNS改为向API Gateway的Endpoint投递消息
- 超过限流阈值的请求会被API Gateway直接返回429状态码,依赖SNS自带的重试策略将节流的消息延后投递,不会出现消息丢失
方案3:Lambda内部嵌入分布式限流逻辑
- 完全不调整现有链路的前提下,在Lambda代码中集成基于Redis的固定窗口/令牌桶限流逻辑
- 每次Lambda被触发时先调用Redis的
INCR指令统计当前秒的调用次数,超过阈值T的请求直接转储到死信队列或延迟队列延后处理,注意需要给统计用的Redis键设置1秒的过期时间避免无效键堆积
额外说明:之前提到的Lambda并发限制无法满足需求是合理的,并发限制仅控制同时运行的Lambda实例数,假设单请求处理耗时为200ms,1个实例每秒就可以处理5次请求,10个实例每秒就能处理50次请求,确实无法实现精确的每秒调用次数控制。
内容的提问来源于stack exchange,提问作者Mooncrater
相关产品推荐
相关产品推荐

