为何Node.js读取2GB大文件后堆内存占用远低于预期？

问题背景 #

使用Node.js的readline模块读取一个约2GB的文件，将所有行存入数组后，发现内存占用远低于预期：

代码示例：

const readline = require("readline");
const fs = require("fs");
const filePath = "./bigfile";

async function read(file) {
  const lines = [];

  const rl = readline.createInterface({
    input: fs.createReadStream(file),
    crlfDelay: Infinity,
  });

  for await (const line of rl) {
    lines.push(line);
  }

  const used = process.memoryUsage();
  for (let key in used) {
    console.log(`Memory: ${key} ${Math.round(used[key] / 1024 / 1024)} MB`);
  }
}
read(filePath);

文件信息：

$ ls -l bigfile
-rw-r--r-- 1 kg 197121 2075855634 Okt 25 11:59 bigfile

实际内存输出：

$ node readBigFile.js
Memory: rss 484 MB
Memory: heapTotal 463 MB
Memory: heapUsed 441 MB
Memory: external 3 MB
Memory: arrayBuffers 2 MB

原本预期heapUsed接近2GB，但实际仅441MB，并非Node.js在压缩内存，主要原因如下：

核心原因：V8引擎的字符串优化与存储特性 #

1. 字符串驻留（String Interning）
   V8引擎会自动对重复的字符串进行驻留处理——如果文件中存在大量重复的字符串（比如日志的固定前缀、重复的字段值等），V8只会在内存中存储一份该字符串的实例，数组中所有引用指向同一个内存地址，大幅减少内存占用。

2. 磁盘文件与内存字符串的存储差异
   磁盘上的文件是原始字节流（比如UTF-8编码），而内存中的字符串是V8的String对象：

• 对于ASCII字符占多数的文本，V8会用单字节存储（与磁盘一致），但如果存在重复内容，驻留机制会进一步压缩；
• 若文件中有大量重复的行结构，V8的字符串优化会共享重复部分的内存，而非每行都存储完整内容。

3. 无主动内存压缩机制
   Node.js本身没有内置的内存压缩功能，V8的垃圾回收只会清理无用内存，但这里的内存节省完全来自字符串存储的优化逻辑，而非压缩。

内容的提问来源于stack exchange，提问作者Kerim Güney