Node.js读取355MB文件时toString()失败，求解决方法

你已经精准定位了核心问题：V8引擎对单个字符串的大小存在限制（约256MB），直接将355MB的Buffer转为字符串会触发这个限制导致报错。针对这个问题，给你两种适合新手的实用解决方案：

方案一：流式读取（推荐，内存友好） #

流式读取会分段加载文件内容，不会一次性把整个文件塞进内存，完全避开V8的字符串大小限制，同时内存占用极低。可以用Node.js内置的readline模块逐行处理文本：

const fs = require('fs');
const readline = require('readline');

// 创建文件读取流和逐行处理接口
const lineReader = readline.createInterface({
  input: fs.createReadStream('file.txt', 'utf8'),
  crlfDelay: Infinity // 兼容所有换行符格式
});

// 监听每行内容，按需处理
lineReader.on('line', (line) => {
  console.log(line); // 这里替换成你对每行内容的实际处理逻辑
});

// 监听读取结束事件
lineReader.on('close', () => {
  console.log('文件读取处理完成');
});

方案二：分段读取并处理Buffer #

如果你的需求不是逐行处理，而是需要按固定大小的块来处理内容，可以手动控制每次读取的Buffer大小，确保每个块转字符串时不超过V8限制：

const fs = require('fs');

const filePath = 'file.txt';
const chunkSize = 64 * 1024 * 1024; // 每次读取64MB，可根据内存情况调整

// 获取文件总大小
const fileSize = fs.statSync(filePath).size;
let currentOffset = 0;

// 递归分段读取函数
function readNextChunk() {
  if (currentOffset >= fileSize) {
    console.log('文件读取完成');
    return;
  }

  // 计算当前要读取的块大小（最后一块可能不足64MB）
  const actualChunkSize = Math.min(chunkSize, fileSize - currentOffset);
  const buffer = Buffer.alloc(actualChunkSize);
  
  // 同步读取当前块
  const fd = fs.openSync(filePath, 'r');
  fs.readSync(fd, buffer, 0, actualChunkSize, currentOffset);
  fs.closeSync(fd);

  // 将当前块转为字符串并处理
  const chunkContent = buffer.toString('utf8');
  console.log(chunkContent); // 替换成你的块处理逻辑

  currentOffset += actualChunkSize;
  readNextChunk();
}

// 启动分段读取
readNextChunk();

注意事项 #

• 无论哪种方案，都要避免一次性加载超大文件到内存，这不仅会触发V8的限制，还会导致内存占用过高，拖慢程序运行速度。
• 如果处理的是文本文件，优先选择流式读取方案，代码更简洁且更符合Node.js的异步设计思想。

内容的提问来源于stack exchange，提问作者WALL-E