Mocha测试中异步生成器迭代器循环使用async/await时仅执行首次迭代并超时的问题排查

你的问题出在异步生成器函数getChunkOfData的逻辑顺序上——你先等待整个流的pipeline处理完成，再去迭代parser的结果，这时候parser已经没有更多数据可以输出了。

为什么会出现这个问题？ #

当你执行await pipelineAsync(inputStream, parser)时，pipeline会把输入流的所有数据全部读取、解析并传递给parser，直到流完全结束。等到这行代码执行完毕，parser的异步迭代器已经处于“完成”状态（done: true）。后续的for await (const line of parser)只能拿到parser缓存中残留的少量数据（比如第一行），然后生成器就直接退出了，导致测试里的循环只执行一次，甚至可能因为后续没有预期的断言触发而超时。

修正后的异步生成器代码 #

我们需要让pipeline的流处理和parser的迭代并行进行，而不是等待整个pipeline完成再迭代。这里分两种情况处理：

情况1：使用回调式的stream.pipeline

const fs = require('fs');
const { parse } = require('csv-parse'); // 假设你用的是csv-parse库
const { pipeline } = require('stream');

async function* getChunkOfData(filepath) {
  try {
    const inputStream = fs.createReadStream(filepath);
    const parser = parse({ /* 你的解析配置 */ });

    // 启动pipeline处理流，但不等待它完成——我们要实时迭代parser的输出
    pipeline(inputStream, parser, (err) => {
      if (err) {
        throw new Error("error while reading csv file: " + err.message);
      }
    });

    // 直接迭代parser，它会在流数据到来时逐步yield解析后的行
    for await (const line of parser) {
      yield line;
    }
  } catch (err) {
    throw new Error("error while reading csv file: " + err.message);
  }
}

情况2：使用promisified的stream/promises.pipeline

如果你喜欢用async/await处理pipeline的错误，可以启动pipeline任务后先迭代parser，最后再等待pipeline完成：

const fs = require('fs');
const { parse } = require('csv-parse');
const { pipeline } = require('stream/promises');

async function* getChunkOfData(filepath) {
  try {
    const inputStream = fs.createReadStream(filepath);
    const parser = parse({ /* 你的解析配置 */ });

    // 启动pipeline任务，但不立即等待
    const pipelineTask = pipeline(inputStream, parser);

    // 实时迭代parser的输出，这会随着流的处理逐步返回每一行
    for await (const line of parser) {
      yield line;
    }

    // 迭代完成后，等待pipeline结束，确保没有隐藏错误
    await pipelineTask;
  } catch (err) {
    throw new Error("error while reading csv file: " + err.message);
  }
}

测试代码的小优化 #

另外，你的测试代码里assert.throw(err)的写法有问题——assert.throw需要传入一个函数，而不是直接传入错误对象。如果你的测试预期不会抛出错误，那可以去掉这个断言；如果预期会抛出特定错误，应该改成：

describe("My test suite", function () {
  it("My test", async function () {
    try {
      const iterator = getChunkOfData("example.csv");
      for await (const row of iterator) {
        await asyncCall(row); // 这里添加你的chai断言，比如expect(row).to.have.property(...)
      }
    } catch (err) {
      console.error("Test failed with error:", err);
      // 如果预期会抛出错误，用下面的断言
      expect(err.message).to.include("error while reading csv file");
      // 如果预期不会抛出错误，直接抛出错误让测试失败
      throw err;
    }
  });
});

额外调试建议 #

如果问题仍然存在，可以在生成器和测试中添加日志：

• 在生成器的yield line前添加console.log("Yielding line:", line)，确认是否有所有行被正确yield
• 在测试的for await循环内添加console.log("Processing row:", row)，确认迭代器是否在正确返回数据

内容的提问来源于stack exchange，提问作者Alessandro Staffolani