NodeJS中HTTPS请求获取大数据集时响应提前终止的解决方法

你的核心问题是错误地在data事件中处理完整响应——Node.js的http/https模块是流式处理响应的，data事件会多次触发（每次返回一部分数据块），而res.complete只有在所有数据接收完毕、end事件触发后才会变为true。你当前的代码只处理了第一块数据，直接丢弃了后续的分块，自然会导致大数据集截断。

修正后的代码实现 #

你需要先收集所有数据块，在响应结束的end事件中再拼接成完整数据：

const https = require('https');

function fetchFullResponse(pull_options) {
  return new Promise((resolve, reject) => {
    const req = https.get(pull_options, (res) => {
      // 初始化缓冲区数组，用于收集所有数据块
      const chunks = [];

      // 每收到一块数据，就推入数组
      res.on('data', (chunk) => {
        chunks.push(chunk);
      });

      // 所有数据接收完毕时触发end事件
      res.on('end', () => {
        if (res.complete) {
          // 拼接所有缓冲区，转成字符串
          const fullData = Buffer.concat(chunks).toString();
          resolve(fullData);
        } else {
          reject(new Error('Connection terminated before response completed'));
        }
      });

      // 捕获响应流的错误
      res.on('error', (err) => {
        reject(err);
      });
    });

    // 捕获请求本身的错误（如DNS解析失败、连接超时等）
    req.on('error', (err) => {
      reject(err);
    });
  });
}

关键说明 #

1. 流式数据处理：Node.js不会自动拼接响应数据，必须手动收集每个data事件返回的Buffer块，最后用Buffer.concat()合并成完整缓冲区。
2. end事件的作用：只有end事件触发时，才代表所有响应数据已接收完成，此时res.complete才会为true。
3. 错误处理：必须监听res和req的error事件，避免未捕获的异常导致程序崩溃。

对比Python的requests库，它默认帮你封装了流式拼接的逻辑，所以你用Python代码能直接拿到完整响应；而Node.js的底层http模块更偏向底层，需要开发者手动处理流式数据。

内容的提问来源于stack exchange，提问作者Blake Harrison