DynamoDB预配置模式吞吐量超限异常排查及优化方案咨询

• 表结构：分区键process_uuid（字符串类型），排序键timestamp（毫秒级时间戳），其余列为IoT设备参数字段
• 写入负载：每分钟仅2条记录
• 异常情况：
  • 预配置模式（20RCU/20WCU）下，查询少量数据仍触发吞吐量超限
  • 切换至按需模式后，RCU/WCU峰值达4500，成本剧增且仍存在节流

从场景和查询代码来看，问题并非来自写入负载（写入量极低），而是集中在查询效率、分区容量分配、请求速率控制上：

1. 毫秒级排序键导致单process_uuid下的数据索引范围极广，即使返回数据少，Query也会扫描大量索引数据块，消耗远超预期的RCU（DynamoDB按读取的数据块大小计算RCU，而非返回条目数）
2. 预配置模式下容量按分区shard分配，若某process_uuid的查询请求过于集中，会耗尽该分区的配额（小容量配置下，单个shard的可用配额远低于全局配置值）
3. 同步分页逻辑会在短时间内发起密集请求，形成流量突峰，超过预配置容量上限

1. 优化查询范围与投影字段 #

• 拆分大时间窗口查询：将跨小时/天的查询拆分为多个小时间窗口（比如按小时拆分），避免单次Query扫描过大的索引范围，减少RCU消耗
• 严格控制投影字段：确保ProjectionExpression只包含业务必需的参数，减少单条记录的大小（1RCU可读取4KB数据，记录越小，相同RCU能读取的条目越多）

2. 调整排序键粒度（可选） #

如果毫秒级时间戳不是业务硬性要求，可将排序键改为秒级/分钟级时间戳，或采用process_uuid#时间粒度（如process_uuid#2024052012）作为复合分区键，将数据分散到更多分区，避免单分区查询热点。此方案需重新设计表结构，适用于新数据写入，旧数据需迁移。

3. 平滑分页请求速率 #

当前同步循环的分页逻辑会短时间内发起密集请求，导致流量突峰：

• 在分页循环中添加延迟控制，每次请求后等待100-200ms，平滑请求速率
• 优化后的分页代码片段：

do {
  // 构建查询参数逻辑...
  const result = await ddbDocClient.send(new QueryCommand(params));
  
  if (result.Items?.length) {
    resultData.Items.push(...result.Items);
  }
  lastKey = result.LastEvaluatedKey;
  
  // 添加延迟，避免密集请求
  if (lastKey) {
    await new Promise(resolve => setTimeout(resolve, 100));
  }
} while (lastKey);

4. 启用预配置模式自动扩容 #

开启DynamoDB预配置模式的自动扩容功能，设置容量调整的最小/最大值（比如最小20，最大100），让系统根据实际流量自动调整RCU/WCU，既避免手动配置不足，又控制成本上限。

5. 缓存查询结果 #

IoT时序数据写入后通常不会修改，对于频繁查询的同一process_uuid和时间范围结果，可使用本地内存缓存或ElastiCache（Redis/Memcached）缓存，避免重复查询DynamoDB，降低RCU消耗。

6. 排查无效查询操作 #

• 确认所有查询均使用Query操作（基于主键索引），避免使用Scan（全表扫描会消耗大量RCU）
• 通过CloudWatch监控ConsumedReadCapacityUnits指标，定位是否有其他业务逻辑在频繁查询同一分区，导致容量耗尽

export const getAllConfigData = async (
  tableName,
  process_uuid,
  startTime,
  endTime,
  parameters
) => {
  const resultData = { Items: [] };
  let lastKey;
  
  // 处理投影字段，避免空数组导致语法错误
  const projectionFields = parameters?.map(p => p.parameterName) || [];
  projectionFields.push("timestamp");
  const projectionExpression = projectionFields.join(",");

  const baseParams = {
    TableName: tableName,
    KeyConditionExpression: "process_uuid = :id AND timestamp BETWEEN :start AND :end",
    ExpressionAttributeValues: {
      ":id": process_uuid,
      ":start": startTime,
      ":end": endTime,
    },
    ProjectionExpression: projectionExpression,
    Limit: 100,
  };

  do {
    const params = lastKey ? { ...baseParams, ExclusiveStartKey: lastKey } : baseParams;
    const result = await ddbDocClient.send(new QueryCommand(params));
    
    if (result.Items?.length) {
      resultData.Items.push(...result.Items);
    }
    lastKey = result.LastEvaluatedKey;
    
    // 平滑请求速率
    if (lastKey) {
      await new Promise(resolve => setTimeout(resolve, 100));
    }
  } while (lastKey);

  return resultData;
};

内容的提问来源于stack exchange，提问作者Pankaj Verma