AWS SQS FIFO读取前20000条消息的机制及批次分配问询

问题咨询 #

AWS SQS FIFO会读取前20000条消息来确定消息组，请问其读取顺序是怎样的？

场景示例 #

某FIFO队列包含以下消息组：

消息入队时间如下：

• Group A：从11:00:00开始，每秒入队100条
• Group B：从11:00:01开始，每秒入队10条
• Group C：11:05:00一次性入队

所有消息无投递延迟，队列配置的可见性超时与后续添加的Lambda消费者匹配，当前队列未被任何进程处理。

后续配置Lambda函数作为该队列的事件源，配置参数：

• 最大批次大小：5
• 长轮询时长：2秒
• Lambda处理单批次事件需1分钟

用户提出两种消费预期：

1. 若按跨消息组的时间顺序读取，预期批次模型如下：

2. 另一种可能是持续读取Group A的消息，直到队列总消息数降至20000条以下。

官方机制说明（AWS文档翻译） #

AWS SQS FIFO队列会扫描队列的前20000条消息，以此确定当前可用的消息组。这意味着，如果单个消息组存在消息积压，那么在成功消费完该积压消息之前，你无法消费后续发送到队列的其他消息组的消息。

读取机制与批次分析 #

SQS FIFO队列的核心消费规则结合扫描限制，实际逻辑如下：

1. 消息组内严格有序：同一消息组的消息必须按入队顺序依次消费，同一组的消息无法被多个Lambda并行处理。
2. 20000条消息扫描边界：队列分配消息时，仅会在前20000条消息范围内识别可用消息组。如果该范围内的消息全部属于同一个组（比如场景中的Group A），其他组的消息即使已入队，也无法被消费者获取。

回到场景：
Group A有50000条消息，完全占据了队列的前20000条消息。因此Lambda消费者在初始阶段只能从Group A获取消息，每批次5条，直到Group A的消息被消费至剩余数量不足20000条时，队列的扫描范围才会包含Group B的消息，此时才会开始消费Group B的批次。Group C的消息因入队时间最晚，需等到Group B的消息进入扫描范围后才会被处理。

实际前N批消息的内容均为Group A的消息，直到Group A的积压消息被消费到剩余20000条以内，才会开始出现Group B的批次。

内容的提问来源于stack exchange，提问作者nnedoklanov