如何确保FIFO SQS攒满10条消息后再触发Lambda？

• 业务场景：大量数据通过MQTT主题流入IoT Core，每条记录需完成两项处理：将MQTT主题名称附加到数据中；根据DynamoDB中传感器的启用状态，决定是否将数据写入DynamoDB（禁用传感器的记录无需入库）。
• 当前实现：
  1. MQTT主题的所有消息触发上游Lambda，处理后写入对应FIFO SQS队列；
  2. SQS队列的消息触发下游Lambda，该Lambda逐条查询DynamoDB判断传感器状态，再决定是否入库。
• 核心问题：FIFO SQS支持最大10条的批量处理，但当前下游Lambda会被每条消息单独触发，导致DynamoDB查询次数过多。期望实现攒满10条消息再触发Lambda，通过批量查询减少请求量（例如10条分属2个传感器的记录，仅需2次查询而非10次）。

1. 调整SQS-Lambda触发器的批量配置 #

• 在Lambda的SQS触发器设置中，将批量大小设置为10，同时配置批量窗口（建议设置为1-5秒）。批量窗口的作用是：如果在窗口内未攒满10条消息，也会触发Lambda处理已有的消息，避免消息长时间积压。
• 利用FIFO队列的消息组ID特性：写入SQS时，将同一传感器的消息设置为相同的消息组ID。FIFO队列会确保同一消息组的消息按顺序处理，且同组消息会被纳入同一批处理中，保证攒批效率。

2. 修改下游Lambda的批量处理逻辑 #

• 接收SQS批量消息：Lambda的event.Records会包含最多10条消息，每条消息包含处理后的MQTT数据及主题信息。
• 批量查询传感器状态：
  1. 从所有消息中提取传感器标识，去重后得到唯一传感器ID列表；
  2. 使用DynamoDB的BatchGetItem API，一次性查询这些传感器的启用状态，替代逐条查询。
• 批量过滤与写入：
  1. 根据查询结果，过滤出传感器处于启用状态的消息；
  2. 使用DynamoDB的BatchWriteItem API，将符合条件的记录批量写入DynamoDB，减少写入请求次数。

3. 可选优化：加入本地缓存减少重复查询 #

如果传感器的启用状态不会频繁变更，可以在下游Lambda中加入内存缓存（例如设置TTL为5-10分钟），缓存已查询过的传感器状态。当后续消息涉及相同传感器时，直接从缓存读取状态，无需重复查询DynamoDB。

内容的提问来源于stack exchange，提问作者D3V