DynamoDB万级数据批量获取性能优化咨询

当前单次从DynamoDB拉取数万条数据，测试16000+条耗时750-1000ms，对事件驱动型查询来说这个速度偏慢。目前用的是按100条一批并行执行batchGetItem的方案（代码如下），已经试过调整各类AmazonDynamoDBConfig配置，但DataDog追踪显示请求在批量发起后出现零散延迟波动，怀疑是DynamoDB的查询疲劳问题，求同类场景的优化经验和遗漏的提速方法。

当前实现代码 #

IEnumerable<string> ids;

using (var client = GetDynamoDbClient())
{
    DynamoDBContextConfig config = new DynamoDBContextConfig
    {
        TableNamePrefix = "test",
        Conversion = DynamoDBEntryConversion.V2,
        ConsistentRead = false,
    };
    
    DynamoDBContext context = new DynamoDBContext(client, config);
    var IdsBatchedLists = Split(ids.ToList(), BatchRequestSizeLimit); // 每批100条
    var batchTasks = IdsBatchedLists.Select(async list =>
    {
        var batchRequest = context.CreateBatchGet<MyTable>();
        list.ForEach(x => batchRequest.AddKey(x));

        await batchRequest.ExecuteAsync().ConfigureAwait(false);
        return batchRequest.Results;
    });

    var results = await Task.WhenAll(batchTasks).ConfigureAwait(false);
}

优化经验与提速方法 #

• 控制并发请求数：DynamoDB对batchGetItem有隐性并发限制，无差别全量并行很容易触发限流，导致延迟波动。建议用SemaphoreSlim把并发任务数控制在10-20之间（可根据实际负载测试调整），避免瞬间打满服务端配额。示例代码加信号量控制即可：

  var semaphore = new SemaphoreSlim(15);
  var batchTasks = IdsBatchedLists.Select(async list =>
  {
      await semaphore.WaitAsync().ConfigureAwait(false);
      try
      {
          var batchRequest = context.CreateBatchGet<MyTable>();
          list.ForEach(x => batchRequest.AddKey(x));
          await batchRequest.ExecuteAsync().ConfigureAwait(false);
          return batchRequest.Results;
      }
      finally
      {
          semaphore.Release();
      }
  });
  

• 优化批量大小策略：当前固定每批100条，但DynamoDB单请求的上限是1MB数据量。如果你的单条数据体积较小，可适当提高每批Item数（比如200-300条），减少总请求次数，从而降低整体耗时。
• 复用客户端实例：AmazonDynamoDBClient和DynamoDBContext都是线程安全的，不要每次请求都新建实例，全局单例复用能省去大量连接建立与初始化的开销。
• 调整重试策略：检查客户端的重试配置，针对ProvisionedThroughputExceededException等限流异常设置合理的指数退避策略，避免集中重试加剧延迟波动。
• 排查表端瓶颈：通过CloudWatch查看表的ReadThrottleEvents指标，如果存在大量限流事件，要么提升表的读写容量，要么检查主键设计——若请求集中在少数热点分区，可通过给主键添加随机前缀来分散流量。
• 改用低级API：DynamoDBContext是高层封装，存在额外的序列化开销。若追求极致性能，可直接使用AmazonDynamoDBClient的BatchGetItemAsync低级API，手动处理序列化，减少中间层开销。

内容的提问来源于stack exchange，提问作者Limey