Node.js fetch 2.x.x如何增大响应缓冲区以接收50kB+响应？

核心问题原因 #

node-fetch 2.x版本里，响应的body是一个ReadableStream，默认highWaterMark缓冲区大小为16kB。当响应内容超过这个尺寸，使用response.json()、response.text()这类内置解析方法时，会因为缓冲区填满后未及时消费数据，导致请求卡住无法完成。你尝试的「并行解析克隆响应」方法并不能解决这个问题——它的设计目的是同时从同一个响应中获取不同格式的结果（比如同时拿到JSON结构和原始文本），而非突破缓冲区限制，所以对你的场景无效。

可行解决方案 #

绕过默认缓冲区限制，手动读取响应流的所有数据块：

const fetch = require('node-fetch');

async function fetchLargeResponse(url) {
  const response = await fetch(url);
  
  if (!response.ok) {
    throw new Error(`请求失败，状态码：${response.status}`);
  }

  // 手动收集所有响应数据块
  const chunks = [];
  for await (const chunk of response.body) {
    chunks.push(chunk);
  }

  // 拼接数据块并转换为目标格式
  const fullBuffer = Buffer.concat(chunks);
  // 如果需要JSON格式
  const result = JSON.parse(fullBuffer.toString());
  // 如果需要纯文本，直接用 fullBuffer.toString() 即可
  // const result = fullBuffer.toString();

  return result;
}

// 调用示例
fetchLargeResponse('https://example.com')
  .then(data => console.log('获取到完整响应：', data))
  .catch(err => console.error('请求出错：', err));

原理说明 #

手动遍历response.body可读流，会持续消费流中的数据，不会触发默认的16kB缓冲区阻塞。通过收集所有数据块并拼接成完整的Buffer，再转换为你需要的格式（JSON或文本），就能完整获取超过16kB的响应内容。

内容的提问来源于stack exchange，提问作者kazeeno