使用DynamoDb batchWrite时AWS Batch Job CPU占用过高问题排查与优化

CPU使用率过高的原因 #

结合测试数据与场景，单vCPU实例上CPU飙升的核心原因如下：

1. 单核心事件循环的统计特性：Node.js采用单线程事件循环模型，在单vCPU实例上发起DynamoDB batchWrite 请求后，事件循环会进入等待网络响应的状态。由于单核心无法并行处理其他任务，这个等待过程会被系统统计为CPU忙碌（而非空闲）；多批次串行执行时，每一批的等待会持续挤占CPU时间片，直接推高使用率。从测试数据也能验证这一点：事务数≤20（单批次）时CPU仅占1-2%，一旦需要多批次执行，使用率立刻飙升。
2. 批量写入的客户端开销：即使每批只有20条记录，SDK执行batchWrite时仍需完成数据序列化、请求签名、参数校验等操作，这些都会消耗CPU。多批次串行执行时，这类操作会集中在单核心上连续运行，累积开销进一步拉高使用率。
3. GSI同步写入的间接影响：表配置了2个全局二级索引，每条主表记录写入时，DynamoDB需要同步写入这2个GSI，这会增加后端处理耗时，进而延长客户端等待时间，反映在单核心上就是CPU占用持续升高。

除增加vCPU外的优化手段 #

针对上述原因，可通过以下手段降低CPU负载：

• 并行化批量写入请求：不要串行执行多批次batchWrite，改用Promise.all同时发起多个批次的请求（建议控制并发数在5-10批以内，避免触发DynamoDB限流）。这样Node.js事件循环可在等待一批请求响应的同时，处理其他批次的序列化或后续逻辑，减少CPU空转等待。
• 调整SDK重试与超时配置：检查DynamoDB SDK的重试策略，按需模式下频繁限流重试会额外消耗CPU。可适当缩短请求超时时间，或降低重试次数，避免无意义的重试占用资源。
• 预序列化数据：如果数据结构复杂，提前将JSON对象序列化为字符串，减少SDK在batchWrite时的序列化工作，降低CPU开销。
• 优化分区键分布：确保批量写入的记录分区键分布均匀，避免集中写入同一个分区导致DynamoDB热点，进而延长客户端等待时间、增加CPU占用。
• 最大化单批次容量：将单批次记录数调整到DynamoDB允许的上限（25条），减少总批次数量，降低客户端处理请求的总开销。
• 确认HTTP连接复用：确保DynamoDB SDK开启了HTTP连接复用（默认已开启，但可检查配置），减少每次请求建立TCP连接的CPU消耗。

内容的提问来源于stack exchange，提问作者Shadab Faiz