Node.js高频写入文件时createWriteStream与appendFile哪种效率更高?
结论:
createWriteStream 方案速度更快、效率更高 二者核心差异原因
- appendFile 方案的性能损耗:
每次调用appendFile都会执行完整的「打开文件句柄→写入数据→关闭文件句柄」系统调用流程,当关键词数量大(比如上千、上万个)时,反复开关文件的开销会被无限放大,额外占用大量系统资源。同时每次写入都要await磁盘IO完成才能继续执行后续逻辑,会拖慢整个任务的执行速度。 - createWriteStream 方案的性能优势:
初始化时仅打开一次文件句柄,后续所有写入操作都复用这个句柄,完全省去了重复开关文件的冗余开销。同时可写流自带内部缓冲区,调用write方法时只要缓冲区没占满,就会直接返回无需等待实际磁盘写入完成,不会阻塞后续API请求逻辑的执行,天然适配大量连续写入的场景。
现有createWriteStream代码的优化点
你当前的示例代码没有处理流的背压问题,如果API请求速度远快于磁盘写入速度,会导致流缓冲区积压大量数据,占用过高内存,可以调整为如下写法:
import { createWriteStream } from 'fs' import axios from 'axios' const arr = ['many keywords',...] (async () => { const writer = createWriteStream('results.csv', { flags: 'a' }) for (let i = 0; i < arr.length; i++) { const { data } = await axios(`https://someapi?request=${arr[i]}`) const canWrite = writer.write(`${data.response}\n`) // 缓冲区已满,等待drain事件释放缓冲区后再继续写入 if (!canWrite) { await new Promise(resolve => writer.once('drain', resolve)) } } // 所有写入完成后手动关闭文件句柄 writer.end() })()
内容的提问来源于stack exchange,提问作者Álvaro
相关产品推荐
相关产品推荐

