Node.js 18中Async.doWhilst实现DynamoDB分页无结果问题

核心错误点 #

1. 混用回调与Promise
   代码同时使用docClient.scan()的回调函数和.promise()方法，这两种异步处理方式不能混用。Promise版本会返回Promise对象，传入的回调会被忽略，同时回调里的callback()调用时机混乱，导致async.doWhilst的迭代流程异常。

2. ExclusiveStartKey初始化类型错误
   startKey初始化为数组[]，但DynamoDB要求ExclusiveStartKey是对象类型（对应表的主键结构）。空数组会被_.isEmpty()判定为非空，导致错误地给params.ExclusiveStartKey赋值为空数组，引发scan请求参数错误。

3. async.doWhilst参数使用错误
   使用async/await版本的async.doWhilst时：

   • 迭代器函数不需要接受callback参数，应通过返回Promise完成异步操作，而非调用callback。
   • 真值测试函数不需要callback参数，直接返回布尔值即可，原代码参数定义不符合API要求。

4. 结果合并方式不合理
   _.union(results, data.Items)对对象数组的合并依赖浅比较，可能导致合并异常，直接用results.push(...data.Items)更直接可靠。

修复后的完整代码 #

export const handler = async (event) => {
    let startKey = undefined; // 初始化为undefined，而非数组
    const results = [];
    let pages = 0;

    await async.doWhilst(
        // 迭代器：返回Promise，无需callback
        async () => {
            const params = {
                TableName: 'tb_notes',
                Limit: 3 // 改为预期的每次3条数据
            };
            
            if (startKey) { // 直接判断是否存在，无需isEmpty
                params.ExclusiveStartKey = startKey;
            }
            
            // 仅使用Promise版本，去掉回调函数
            const data = await docClient.scan(params).promise();
            
            if (data.LastEvaluatedKey) {
                startKey = data.LastEvaluatedKey;
            } else {
                startKey = undefined; // 设为undefined，终止循环
            }
            
            if (data.Items.length > 0) {
                results.push(...data.Items); // 直接push合并结果
            }
            
            pages++;
            console.log(`第${pages}页数据:`, data);
        },
        // 真值测试：直接返回布尔值，无需callback和async
        () => !!startKey, // 存在startKey则继续循环
        // 最终回调
        (err) => {
            if (err) {
                console.error('扫描失败:', err);
            } else {
                console.log('扫描完成，总数据:', results);
                console.log('总页数:', pages);
            }
        }
    );

    return results;
};

额外优化建议 #

• 添加异常捕获：在迭代器函数中用try/catch包裹scan操作，避免单个分页请求失败导致整个流程中断：

  async () => {
      try {
          const params = { /* ... */ };
          const data = await docClient.scan(params).promise();
          // 处理数据逻辑...
      } catch (err) {
          console.error('分页扫描出错:', err);
          throw err; // 抛出异常终止循环
      }
  }
  

• 权限校验：确保docClient已正确初始化，且拥有tb_notes表的扫描权限，权限不足也会导致无结果返回。

内容的提问来源于stack exchange，提问作者Aravindan vaithialingam