DynamoDB Streams触发Lambda批量过小：原因确认与增大批量方法咨询

你的猜测是正确的。DynamoDB Streams的每个分片是独立的数据流单元，Lambda会为每个分片单独维护批量收集逻辑——也就是说，每个Lambda调用的批次仅包含单个分片内的数据，不会跨分片合并。当你的表分片数量多，但单个分片上的写入/更新频率较低时，哪怕把批量窗口拉到15秒，每个分片在窗口内产生的数据量也只有1-2条，自然会出现小批次的情况。

以下是几种增大批量大小的可行方法：

• 提升Lambda并发配额：默认情况下，Lambda针对DynamoDB Streams的并发数限制为100，当表分片数超过这个值时，部分分片会处于排队状态，单个分片的批量窗口内无法积累足够数据。你可以通过AWS控制台或执行update-function-concurrency命令提高Lambda的并发上限，让更多分片同时被处理，但要注意不超过账户级别的并发配额。
• 开启分片批量合并功能：在Lambda的DynamoDB触发器配置中，启用**“批量分片合并”**（Batch window for shard aggregation）。该功能允许Lambda在批量窗口内将多个分片的数据合并到同一个调用批次中（前提是分片处理进度一致），能有效提升单批次的数据量，但会带来一定的调用延迟。
• 优化DynamoDB表分片策略：如果表分片过多是因为不必要的拆分或热点分散，可以通过调整读写容量模式（比如从按需模式切换到预置模式并合理配置容量）、优化主键设计来减少分片数量。不过此操作需要评估对表性能的影响，避免引发新的热点问题。
• 增加中间缓冲层：在Lambda前引入Kinesis Data Firehose或SQS作为缓冲，让DynamoDB Streams先将数据推送至缓冲层，设置缓冲层的批量大小和窗口阈值，达到要求后再触发Lambda处理。这种方式完全可控，但会增加架构复杂度和运维成本。
• 确认批量大小上限配置：先检查触发器配置中的**“批量大小”**是否已经设为最大值1000。如果后续开启分片合并，这个上限会生效，让合并后的批次尽可能接近1000条数据。

内容的提问来源于stack exchange，提问作者Moshe Shaham