异步循环写文件百万次引发内存溢出且无写入内容的原因及解决方案

1. 为何文件中无字节写入？ #

你这段代码里的fs.appendFile是异步非阻塞的方法，当你在同步的for循环里一口气发起了6551200次写入请求后，这些请求都会被放到Node.js的事件队列里等待执行，但还没等任何一个请求真正完成写入操作，进程就因为内存溢出直接崩溃了——进程都挂了，那些排队的写入任务自然没机会执行，所以文件里啥内容都没有。

2. 内存溢出的诱因是什么？ #

核心原因是同步循环瞬间创建了巨量的异步任务和回调函数：

• 每次调用fs.appendFile都会生成一个回调函数，还有Node.js内部为异步IO操作创建的各种状态对象，这些东西都会存在V8的堆内存里；
• Node.js的IO线程池默认容量很小（一般是4或8），你发起的几百万个写入请求远远超过了线程池的处理能力，所有待处理的任务都会堆积在内存里等待分配线程；
• 这么多的任务对象、回调函数挤在V8的堆内存里，很快就超过了Node.js默认的堆内存限制（一般是1.4GB左右），于是触发了FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed的内存溢出错误。

3. 如何在循环中实现不限次数的异步文件写入？ #

关键是控制异步任务的并发量，不能一下子把所有任务都扔出去，这里给你两种原生的实现方案：

方案一：串行写入（最稳妥，适合对性能要求不高的场景）

用async/await配合fs.promises.appendFile，每次等待上一次写入完成后再执行下一次，这样同一时间只有一个写入任务在执行，不会堆积内存：

const fs = require('fs').promises;

async function writeLoop() {
  for (let i = 0; i < 6551200; i++) {
    await fs.appendFile('file', i.toString());
    // 可选：每写N次打个日志，监控进度
    if (i % 1000 === 0) {
      console.log(`已写入 ${i} 条数据`);
    }
  }
}

writeLoop().catch(err => console.error('写入出错:', err));

方案二：有限并发写入（性能更高，适合大量数据的场景）

如果想提高效率，可以控制同时执行的写入任务数量（比如同时执行10个），避免内存堆积的同时利用多核/多线程能力：

const fs = require('fs').promises;
const CONCURRENCY_LIMIT = 10; // 控制并发数
const TOTAL_COUNT = 6551200;

async function writeBatch(start, end) {
  for (let i = start; i < end; i++) {
    await fs.appendFile('file', i.toString());
  }
}

async function writeWithConcurrency() {
  const batches = [];
  // 把总任务分成多个批次
  for (let i = 0; i < TOTAL_COUNT; i += CONCURRENCY_LIMIT) {
    const end = Math.min(i + CONCURRENCY_LIMIT, TOTAL_COUNT);
    batches.push(writeBatch(i, end));
  }
  // 等待所有批次完成
  await Promise.all(batches);
}

writeWithConcurrency().catch(err => console.error('写入出错:', err));

另外还有个小细节：你之前的代码里直接把数字i传给appendFile，其实会被转成字符串，但最好显式调用toString()，避免潜在的类型转换问题。

内容的提问来源于stack exchange，提问作者Courage