按需模式DynamoDB为何触发AWS Glue写入容量超限报错？

为什么会出现这个问题？ #

按需模式DynamoDB的自动扩缩容不是无限制的，有几个关键限制会触发你遇到的报错：

1. 突发容量耗尽：每个表初始有2倍基础容量的突发额度，短时间大量写入会快速耗完这个额度，之后扩容进入渐进模式，速率远跟不上Glue的写入节奏，直接触发限流。
2. 单分区吞吐量上限：不管表整体容量多大，单个分区默认最多支持1000 WCU。如果Glue写入时集中使用同一个分区键（热点键），单分区扛不住就会限流，哪怕表的总容量足够。
3. 账户级配额限制：AWS账户对DynamoDB的按需容量有总限额，如果账户下其他服务或表已经占用大量额度，当前表就拿不到足够的扩容空间。
4. Glue写入并发过高：pyWriteDynamicFrame默认的并发设置可能过于激进，短时间内发送的请求量远超DynamoDB的即时扩容能力。

排查和解决步骤 #

• 检查热点分区：在DynamoDB控制台查看PartitionKeyLevelMetrics监控指标，确认是否存在被集中写入的分区。如果是，需要调整分区键设计——比如给键添加随机后缀、使用复合键分散写入流量。
• 调整Glue写入参数：在写入配置中降低并发度，比如设置dynamodb.throughput.write.percent（例如设为0.5，限制使用表容量的50%），或者调小batch_size让请求更平滑。示例代码：

  dyf.write(
      connection_type="dynamodb",
      connection_options={
          "dynamodb.table.name": "你的目标表名",
          "dynamodb.throughput.write.percent": 0.5,
          "dynamodb.batch.write.size": 25
      }
  )
  

• 核查账户配额：进入DynamoDB控制台的「配额」页面，查看按需写入容量的账户限额是否接近上限，若不足可提交配额提升申请。
• 调整重试次数（临时缓解）：可以适当调大dynamodb.retry.max参数，但这只是临时手段，核心还是要让请求速率与DynamoDB的扩容能力匹配。

内容的提问来源于stack exchange，提问作者cey