DynamoDB Scan分页死循环无法正常拉取全表数据

你遇到的死循环问题核心是AWS SDK v2/v3 混装引发的参数序列化失效，和DynamoDB服务端逻辑无关，你用CLI手动分页已经验证了服务端正常：

1. 依赖混乱是直接诱因：项目里同时存在v2版本的aws-sdk包和多版本不统一的v3版@aws-sdk/*包，会导致SDK内置的DynamoDB AttributeValue类型转换器被异常覆盖。v2 SDK中scan接口要求传入的ExclusiveStartKey必须是DynamoDB原生的AttributeValue格式（例如{"pk": {"S": "value"}, "sk": {"N": "1"}}），但混装依赖后，响应返回的LastEvaluatedKey会被错误转换成JS原生对象格式（例如{"pk": "value", "sk": 1}），你把这个格式的对象作为ExclusiveStartKey传入下一次请求时，SDK无法识别该参数，会直接丢弃，相当于每次请求都没有传分页游标，永远从表头开始扫描。
2. 你观察到的仅能获取1200条记录的现象完全匹配这个故障：第一次请求返回1000条时触发Limit截断，返回第一页的LastEvaluatedKey；第二次请求因为游标被丢弃，从头开始扫描，返回200条时触发1MB响应大小截断，因为游标始终不生效，循环会反复拉取开头的这1200条数据，永远到不了后续分页。
3. 你遇到的Query接口报错属于正常逻辑：Query是针对指定分区键的索引查询，必须传KeyConditionExpression指定分区键的匹配条件，不能像Scan一样做全表遍历，和分页故障无关。
4. CLI帮助文档找不到--last-evaluated-key是正常的：LastEvaluatedKey是接口返回的字段名，对应的入参名称是ExclusiveStartKey，而且AWS CLI默认内置了自动分页逻辑，不需要手动传游标就能拉取全量结果，所以日常使用中很少会用到这个手动传游标的参数。

1. 先彻底清理混乱的SDK依赖 #

不要在同一个项目里混用AWS SDK v2和v3版本，二选一安装即可，优先选和你现有代码写法兼容的版本：
如果保留v2版本（适配你现有代码），执行以下命令清理重装：

# 删除现有依赖和锁文件
rm -rf node_modules package-lock.json
# 重装v2 SDK
npm install aws-sdk@^2.828.0 --save
# 检查是否有残留的v3依赖
npm ls @aws-sdk/*
# 如果存在残留的@aws-sdk开头的包，全部uninstall掉

如果要升级到v3版本，就删除v2的aws-sdk依赖，统一安装v3的dynamodb客户端包，保证所有@aws-sdk/*包版本号完全一致。

2. 修正分页代码逻辑 #

注意核心原则：上一次响应返回的LastEvaluatedKey不要做任何手动修改、JSON序列化/反序列化、类型转换，直接原样传给下一次请求的ExclusiveStartKey即可。
v2 SDK原生客户端的正确实现示例：

const AWS = require('aws-sdk');
// 替换成你实际的区域
const dynamodb = new AWS.DynamoDB({ region: 'cn-north-1' });
// 如果用DocumentClient，替换成下面的初始化方式即可，逻辑完全一致
// const dynamodb = new AWS.DynamoDB.DocumentClient({ region: 'cn-north-1' });

async function fullScan(tableName) {
  const result = [];
  let cursor = null;
  do {
    const resp = await dynamodb.scan({
      TableName: tableName,
      Limit: 1000,
      ExclusiveStartKey: cursor
    }).promise();
    result.push(...resp.Items);
    cursor = resp.LastEvaluatedKey;
    // 调试用：确认每次游标都在变化，拉取条数持续增长
    console.log(`已拉取${result.length}条`, cursor ? '存在下一页' : '扫描完成');
  } while (cursor); // cursor为undefined时说明到最后一页，退出循环
  return result;
}

避坑提示：如果你的表是复合主键（分区键+排序键），LastEvaluatedKey里会同时包含两个键的值，不要手动删除其中任何一个字段，否则会导致游标失效，从头扫描。

3. 快速验证方法 #

v2 SDK自带自动分页的封装方法，可以先用来验证依赖修复是否生效，不需要自己写循环：

// 自动遍历所有分页
dynamodb.scan({ TableName: '你的表名', Limit: 1000 })
  .eachPage((err, data, done) => {
    if (err) throw err;
    if (!data) {
      done();
      return;
    }
    console.log(`本页返回${data.Items.length}条`);
  });

如果清理依赖后仍然异常，检查两个配置：

• 本地会话的AWS凭证是否有对应表的dynamodb:Scan权限，权限不足时SDK偶发不会抛出明确错误，而是返回截断响应导致游标异常
• 确认你没有在请求里误传不符合预期的FilterExpression参数导致返回结果被异常过滤，不过你用CLI验证过全量是4067条，这个概率很低。

内容的提问来源于stack exchange，提问作者halfer