SQS FIFO队列Lambda触发器消息收发不匹配及丢失问题求助

问题背景与配置 #

• 关联Lambda触发器的SQS FIFO队列，所有消息体唯一，内容去重机制未过滤任何消息
• Lambda配置：批量大小1（满足严格串行处理需求）、并发数1、超时时间4分钟
• EventBridge Pipe向队列发送消息，所有消息使用同一MessageGroupId（无法设置动态唯一值）
• Lambda代码可正确处理消息，并在执行完成后删除消息

异常现象 #

当Pipe连续发送消息（间隔数秒）时：

• SQS的messageSent计数正确
• Lambda的messageReceive计数与messageSent不匹配
• 消息不在队列可用、飞行状态中，也未进入死信队列（DLQ）

已知该问题可能与SQS分布式特性导致的低事件量场景有关，需确保所有消息都能触发Lambda执行。

解决方案 #

1. 调整Lambda触发器的轮询配置 #

低流量场景下，Lambda对SQS的默认轮询间隔会自动拉长，导致消息检出延迟或遗漏：

• 手动设置轮询间隔为最小值（1秒），提升轮询频率
• 确保SQS队列开启长轮询（最长20秒），减少空轮询次数，保证消息能被及时检出

2. 匹配SQS可见性超时与Lambda超时 #

将SQS的可见性超时设置为Lambda超时的1.5倍（例如6分钟）：

• 避免Lambda仍在处理时，消息因可见性超时到期重新回到可用队列，引发重复处理或计数混乱
• 防止消息被错误标记为"已处理"但实际未触发Lambda的情况

3. 拆分MessageGroupId提升轮询效率 #

若业务允许，为统一的MessageGroupId添加动态后缀（如按时间分片，每5分钟生成一个后缀）：

• 将消息拆分到多个分组，既保证同分组内的串行处理，又让Lambda能并行轮询不同分组的消息，降低低流量场景下的消息遗漏概率

注：若业务要求全局严格串行，此方法不适用

4. 启用批量窗口优化触发逻辑 #

即使批量大小设为1，开启批量窗口（如1秒）：

• 让Lambda在窗口内收集到1条消息就立即触发，避免因轮询时机偏差导致的消息遗漏

5. 显式指定MessageDeduplicationId #

尽管消息体唯一，仍可能出现极罕见的哈希碰撞触发SQS隐式去重：

• 发送消息时显式指定MessageDeduplicationId（如使用UUID），彻底规避去重机制的影响

6. 启用日志排查细节 #

• 开启SQS日志记录，追踪消息的全生命周期（发送、接收、删除状态）
• 开启Lambda详细日志，确认是否存在消息被触发但未被正确计数的情况
• 检查EventBridge Pipe日志，验证所有消息都成功发送至SQS

内容的提问来源于stack exchange，提问作者newbreedofgeek