Node.js中使用Axios流将API响应pipe到变量的实现问题

问题根因 #

pipe() 方法的接收端必须是可写流（Writable Stream），你最初代码里声明的var APIdata只是未赋值的普通JavaScript变量，不具备流写入能力，因此无法通过pipe接收数据。
你可以直接将流pipe到res对象，是因为Express框架的res响应对象本身就是一个原生可写流，满足pipe方法的参数要求。

具体实现方案 #

方案1：全量数据收集到变量（适合响应大小在进程内存承载范围内的场景） #

如果你的接口响应大小在Node进程内存可承载范围内（通常单响应500M以内），可以直接用Node.js内置能力将流数据拼接完成后存入变量，不需要额外安装第三方依赖。
注意：必须给Axios添加responseType: 'stream'配置，否则Axios会默认将全量响应缓冲在内存中，拿不到可读流对象。

Node 16+ 版本可以直接用内置的流消费者API，代码最简洁：

const { json, buffer } = require('node:stream/consumers');

app.post("/Node", jsonparser, async (req, res) => {
  try {
    const response = await axios({
      ...authOptions,
      responseType: 'stream' // 强制返回流式响应
    });

    // 如果接口返回JSON格式数据，直接解析为JS对象存入变量
    const APIdata = await json(response.data);
    // 如果需要原始二进制/字符串数据，用buffer方法接收
    // const rawBuffer = await buffer(response.data);

    // 拿到完整数据后即可执行数据库写入逻辑
    // await db.insert(APIdata);

    res.send("数据获取存储完成");
  } catch (error) {
    res.status(500).send(error.message);
  }
});

低版本Node可以手动监听流事件拼接数据：

app.post("/Node", jsonparser, async (req, res) => {
  try {
    const response = await axios({
      ...authOptions,
      responseType: 'stream'
    });

    const chunks = [];
    // 逐块接收流数据
    response.data.on('data', (chunk) => chunks.push(chunk));
    // 数据接收完成后拼接
    response.data.on('end', async () => {
      const fullBuffer = Buffer.concat(chunks);
      // 按需转成字符串/JSON对象
      const APIdata = JSON.parse(fullBuffer.toString());

      // 执行数据库写入
      // await db.insert(APIdata);

      res.send("数据处理完成");
    });

    response.data.on('error', (err) => {
      throw err;
    })
  } catch (error) {
    res.status(500).send(error.message);
  }
});

方案2：流式逐段写入数据库（适合GB级超大响应，避免内存溢出） #

如果接口返回数据量极大，不要把全量数据存在内存变量中，否则很容易触发Node.js默认内存上限导致进程崩溃。可以配合流式解析库，边接收数据边解析、边写入数据库，全程内存占用稳定在极低水平。
以返回JSON数组结构的接口为例，配合JSONStream实现逐行解析：

// 先安装依赖：npm i JSONStream
const JSONStream = require('JSONStream');

app.post("/Node", jsonparser, async (req, res) => {
  try {
    const response = await axios({
      ...authOptions,
      responseType: 'stream'
    });

    // 按接口返回的JSON结构配置解析规则，示例对应结构为 { list: [记录1, 记录2, ...] }
    const parseStream = JSONStream.parse('list.*');
    response.data.pipe(parseStream);

    // 每解析出一条完整记录就写入数据库
    parseStream.on('data', async (singleRecord) => {
      // 注意控制写入并发，避免短时间大量请求打满数据库连接
      // await db.insert(singleRecord);
    });

    parseStream.on('end', () => {
      res.send("全量数据写入完成");
    });

    parseStream.on('error', (err) => {
      throw err;
    })
  } catch (error) {
    res.status(500).send(error.message);
  }
});

实操建议：如果单接口返回数据量超过100M，优先选择方案2，稳定性远高于全量缓存到变量的实现。

内容的提问来源于stack exchange，提问作者Chandrahas Settaluri