如何在AWS CDK中限制FIFO队列吞吐量及请求频次？

1. 是否需要在Lambda队列消费者中实现请求频率限制？ #

是的，你需要在Lambda消费者端实现每分钟600次的请求限制，原因如下：

• SQS本身没有直接针对下游请求速率的配置项，它的吞吐量设置（比如fifoThroughputLimit）仅控制队列自身的消息处理能力，无法直接限制发送给下游服务器的请求频率。
• 具体可以通过以下方式实现：
  • 调整Lambda并发与批量大小：按每分钟600次请求换算为每秒10次，若单条消息处理耗时约1秒，可将Lambda并发数设为10；同时调整SQS触发Lambda的批量大小，避免一次性拉取过多消息导致突发请求。
  • 在Lambda内部添加限流逻辑：用令牌桶算法或固定窗口计数器，在代码里控制每分钟发送的请求数不超过阈值。比如初始化一个计数器，每分钟重置一次，每次发送请求前检查当前计数，若已达上限则等待或延迟处理。

2. FifoThroughputLimit.PER_QUEUE的适用范围 #

• 这个配置仅适用于FIFO队列，标准队列没有该属性（标准队列无消息组概念，也不需要这种吞吐量限制模式）。
• 它的作用是切换FIFO队列的吞吐量控制模式：
  • 默认模式为PER_MESSAGE_GROUP，每个消息组每秒最多处理1条消息，严格保证组内消息的顺序性。
  • PER_QUEUE模式下，队列的吞吐量不再按消息组拆分，而是由整个队列共享上限：
    • 普通FIFO队列启用后，可达每秒300条消息的处理能力；
    • 高吞吐量FIFO队列（需额外启用）启用后，可达每秒3000条消息的处理能力。
• 你有多个消息组的情况下，使用PER_QUEUE可以让多个消息组共享队列吞吐量，提升整体处理效率，但这和你限制下游请求速率的需求无直接关联，它只是放开了队列自身的处理上限。

内容的提问来源于stack exchange，提问作者Luke