使用request.js下载大于256MB文件时出现报错问题

这个报错我太熟悉了！本质原因是request库默认会把整个响应体一次性加载到内存中，当你的制品体积过大时，内存缓冲区直接撑爆，就会触发toString()失败的错误——毕竟Node.js对单个Buffer的大小是有隐性限制的，太大的二进制数据根本没法一次性转成字符串。

下面给你几个实用的解决思路：

1. 改用流式处理（最推荐） #

别让request把整个文件都塞进内存，直接用流式传输把内容写到本地文件里，这样内存占用会非常低：

const request = require('request');
const fs = require('fs');

const downloadStream = fs.createWriteStream('./large-artifact.zip');
request('https://your-artifact-url.com/large-file')
  .pipe(downloadStream)
  .on('finish', () => {
    console.log('制品下载完成！');
  })
  .on('error', (err) => {
    console.error('下载出错:', err);
    fs.unlinkSync('./large-artifact.zip'); // 出错时删除不完整的文件
  });

这种方式会逐块接收数据并写入磁盘，完全不会出现内存溢出的问题。

2. 逐块处理响应内容（如果需要在内存中处理数据） #

如果你必须对下载的内容做一些处理，而不是直接存盘，可以监听data事件逐块处理，不要等全部数据加载完：

const request = require('request');

let processedData = [];
request('https://your-artifact-url.com/large-file')
  .on('data', (chunk) => {
    // 在这里逐块处理chunk，比如解析特定内容、校验哈希等
    processedData.push(chunk);
    console.log('已接收数据块大小:', chunk.length);
  })
  .on('end', () => {
    // 最后再把所有块合并（如果必须的话），但大文件还是不建议合并成单个Buffer
    const fullBuffer = Buffer.concat(processedData);
    console.log('全部数据接收完成，总大小:', fullBuffer.length);
  })
  .on('error', (err) => {
    console.error('处理出错:', err);
  });

3. 考虑替换request库（长期方案） #

request已经被官方标记为**废弃（deprecated）**了，不再维护更新。如果可以的话，换成更现代、支持流式更好的库，比如：

• axios：支持流式响应，配置responseType: 'stream'即可
• got：专门为Node.js设计的HTTP客户端，流式处理非常顺手
• node-fetch：浏览器fetch的Node.js版本，同样支持流式

举个axios流式处理的例子：

const axios = require('axios');
const fs = require('fs');

axios({
  url: 'https://your-artifact-url.com/large-file',
  method: 'GET',
  responseType: 'stream'
}).then((response) => {
  response.data.pipe(fs.createWriteStream('./large-artifact.zip'));
  response.data.on('end', () => console.log('下载完成'));
}).catch((err) => console.error('下载出错:', err));

内容的提问来源于stack exchange，提问作者isaac weathers