AWS Lambda读取SQS批量异常：如何实现每2小时全量消息生成文件？

1. Lambda并行长轮询连接的假设与控制方法 #

你的假设是正确的：Lambda的SQS触发器默认会维护5个并行的长轮询连接，这些连接会独立从SQS拉取消息，导致同一2小时批量窗口内多次触发Lambda，每次接收的消息数量不固定。

可以控制为单连接/单线程，具体配置如下：

• 给Lambda函数设置预留并发数为1：这会限制同一时间只有一个Lambda实例运行，避免多个轮询器并行拉取消息。
• 调整SQS触发器的批量大小为SQS允许的最大值（最大可设为10000），保持批量窗口为2小时：Lambda会在窗口内持续拉取消息，直到收集到设定的批量大小数量，或者窗口结束，确保所有可用消息都被同一个实例处理。

2. 替代方案：实现每2小时生成包含所有SQS消息的文件 #

如果无法通过单连接配置实现需求，推荐以下两种方案：

方案一：EventBridge定时触发Lambda #

• 用Amazon EventBridge（原CloudWatch Events）创建定时规则，每2小时触发一次Lambda函数。
• 在Lambda函数内部，主动调用SQS的ReceiveMessage接口，循环拉取所有可用消息（直到返回结果为空），将所有消息收集到内存或临时存储中。
• 生成文件并上传至SFTP服务器后，调用DeleteMessageBatch批量删除已处理的消息，避免重复处理。

方案二：使用SQS FIFO队列 #

• 将标准SQS队列替换为FIFO队列，FIFO队列默认支持消息分组锁，同一时间只有一个Lambda实例能处理队列中的消息。
• 配置Lambda的FIFO触发器，设置批量窗口为2小时、批量大小为最大值，确保在窗口内所有消息被单个实例收集并处理，生成单个文件。

内容的提问来源于stack exchange，提问作者pvpkiran