AWS DynamoDB CLI与Node SDK查询结果大小不一致问题问询

问题1：CLI与Node SDK查询返回结果差异的原因 #

DynamoDB 服务端单次查询请求有1MB响应数据量的硬限制，只要返回的匹配条目总大小达到1MB，就会自动截断结果，返回LastEvaluatedKey标识断点，需要用户主动分页拉取剩余数据。

• AWS CLI 的aws dynamodb query命令默认开启了自动分页逻辑：会在后台自动识别LastEvaluatedKey，循环发起多次查询请求拉取所有匹配项，直到没有更多数据为止，最终返回合并后的全量结果。如果给CLI加上--no-paginate参数，也会和Node SDK一样仅返回单次请求的截断数据。
• Node.js SDK 原生的query方法默认仅发起单次服务端请求，只会返回1MB限制内的部分结果，所以你会看到返回条目数远小于总匹配数，且因为每次查询返回的条目总大小有波动，返回条数也不固定。

问题2：通过SDK获取全量匹配条目的实现方案 #

首先明确：没有办法通过单次服务端请求拉取超过1MB的结果，所有获取全量的方案都是SDK层面封装了多次分页请求，对外暴露全量结果而已。常见实现方式如下：

方式1：手动封装递归分页逻辑（适配SDK v2、v3） #

你可以自行判断返回结果中的LastEvaluatedKey，如果存在就把它作为下一次请求的ExclusiveStartKey参数发起查询，直到LastEvaluatedKey为空，把所有返回的Items数组合并即可，示例代码如下：

const queryAllItems = async (params: DocumentClient.QueryInput, allItems: any[] = []): Promise<any[]> => {
  const result = await dynamoClient.query(params).promise();
  const mergedItems = [...allItems, ...(result.Items || [])];
  // 还有未拉取的数据，继续分页查询
  if (result.LastEvaluatedKey) {
    return queryAllItems({
      ...params,
      ExclusiveStartKey: result.LastEvaluatedKey
    }, mergedItems);
  }
  return mergedItems;
};

// 调用方式
const allItems = await queryAllItems(yourOriginalParams);

方式2：使用SDK内置的分页工具 #

• 如果你使用 AWS SDK v3，可以直接使用内置的paginateQuery迭代器工具，无需手动写递归逻辑。
• 如果你使用 AWS SDK v2，可以引入aws-sdk/lib/util中的分页工具辅助实现。

如果希望单次请求返回尽可能多的条目，可以在请求参数中添加Limit: 1000（DynamoDB单次查询最多返回1000条），但该配置依旧受1MB的总数据量限制，只要数据量到阈值还是会被截断。

内容的提问来源于stack exchange，提问作者Brian Anderson