You need to enable JavaScript to run this app. Node.js高频写入文件时createWriteStream与appendFile哪种效率更高?
优惠活动
大模型
产品
解决方案
定价
更多

Node.js高频写入文件时createWriteStream与appendFile哪种效率更高?

结论:createWriteStream 方案速度更快、效率更高

二者核心差异原因

  • appendFile 方案的性能损耗:
    每次调用appendFile都会执行完整的「打开文件句柄→写入数据→关闭文件句柄」系统调用流程,当关键词数量大(比如上千、上万个)时,反复开关文件的开销会被无限放大,额外占用大量系统资源。同时每次写入都要await磁盘IO完成才能继续执行后续逻辑,会拖慢整个任务的执行速度。
  • createWriteStream 方案的性能优势:
    初始化时仅打开一次文件句柄,后续所有写入操作都复用这个句柄,完全省去了重复开关文件的冗余开销。同时可写流自带内部缓冲区,调用write方法时只要缓冲区没占满,就会直接返回无需等待实际磁盘写入完成,不会阻塞后续API请求逻辑的执行,天然适配大量连续写入的场景。

现有createWriteStream代码的优化点

你当前的示例代码没有处理流的背压问题,如果API请求速度远快于磁盘写入速度,会导致流缓冲区积压大量数据,占用过高内存,可以调整为如下写法:

import { createWriteStream } from 'fs'
import axios from 'axios'

const arr = ['many keywords',...]

(async () => {
  const writer = createWriteStream('results.csv', { flags: 'a' })

  for (let i = 0; i < arr.length; i++) {
    const { data } = await axios(`https://someapi?request=${arr[i]}`)
    const canWrite = writer.write(`${data.response}\n`)
    // 缓冲区已满,等待drain事件释放缓冲区后再继续写入
    if (!canWrite) {
      await new Promise(resolve => writer.once('drain', resolve))
    }
  }
  // 所有写入完成后手动关闭文件句柄
  writer.end()
})()

内容的提问来源于stack exchange,提问作者Álvaro

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 10:45:04