MERN项目中如何将MongoDB查询的大量数据流直接传入Node.js响应

第一个报错原因 #

Cannot set headers after they are sent to the client触发原因：

• res.json()方法调用时会自动设置Content-Type: application/json响应头，并且调用res.end()结束本次响应。你在每个data事件触发（拿到单条文档）时都调用一次res.json()，第一次调用就已经把响应结束了，后续调用自然会触发头重复设置的报错。

第二个报错原因 #

Cannot read property 'on' of undefined触发原因：

• 首先Product.find({}).cursor()返回的是Mongoose QueryCursor对象，是Node.js可读流的子类，不需要加await，你加了await后会等待流执行完成，最终拿到的不是流实例，自然没有pipe方法，调用时就会抛出找不到on方法的报错。
• 其次你直接pipe(JSON.stringify())是错误的，JSON.stringify是普通同步方法，不是可写/转换流，不能直接用在流的pipe链路里。

不需要分页、无需一次性加载全量数据到内存的流式拉取实现如下：

const { Transform } = require('stream');

// 自定义转换流，把单条文档拼接为合法JSON数组格式
const jsonTransform = new Transform({
  writableObjectMode: true, // 接收Mongoose返回的JS对象
  readableObjectMode: false, // 输出Buffer/字符串
  transform(doc, encoding, callback) {
    // 第一条数据前加[，后续数据前加逗号分隔
    if (!this.firstChunkSent) {
      this.firstChunkSent = true;
      this.push('[');
    } else {
      this.push(',');
    }
    this.push(JSON.stringify(doc));
    callback();
  },
  flush(callback) {
    // 所有数据传输完成后加]，闭合JSON数组
    if (!this.firstChunkSent) {
      this.push('[]');
    } else {
      this.push(']');
    }
    callback();
  }
});

// 设置响应头，告诉客户端返回的是JSON格式
res.setHeader('Content-Type', 'application/json');

// 流式查询+转换+输出到响应
Product.find({})
  .cursor() // 获取逐文档返回的游标流
  .pipe(jsonTransform) // 转换为合法JSON字符串流
  .pipe(res) // 输出到响应
  .on('error', (err) => {
    console.error(err);
    if (!res.headersSent) {
      res.status(500).json({ error: '数据查询失败' });
    }
  })
  .on('end', () => {
    res.end();
  });

• Mongoose的cursor()方法会返回逐文档返回的可读流，不会一次性把所有查询结果加载到内存，内存占用只会维持在单条文档的量级，不会随着数据量增长升高，完全适配大数据量拉取场景。
• 自定义转换流的作用是把零散的单条文档JSON字符串拼接为合法的JSON数组格式，客户端拿到后可以直接正常解析为数组，不需要额外处理。

内容的提问来源于stack exchange，提问作者mne_web_dev