Node.js批量计算多文件MD5哈希并重命名查重触发EMFILE错误的解决
EMFILE 报错核心原因
你两段代码触发报错的本质问题,都是没有做任何并发限制:
- 递归遍历目录时,遇到文件就立刻发起stat校验、创建文件读流,没有任何排队机制,30000个文件的量级下,所有异步操作会瞬间被推入事件循环,每个读操作/流都会占用一个系统文件描述符,很快就会超过系统允许单进程打开的最大文件数,直接抛出EMFILE错误。
- 代码中存在错误的await用法:对stream实例直接await,因为stream不是标准Promise对象,await根本不会等待流读取完成,执行完创建流的语句就立刻开始处理下一个文件,进一步放大了瞬时打开的文件数量。
- 用数组的
includes()方法做哈希去重,30000条数据下每次查找需要遍历整个数组,性能极低,进一步拉长了每个任务的处理时长,让文件描述符的占用时间变长,更容易触达系统上限。
优化方案的核心逻辑
要稳定处理30000个文件不触发EMFILE,必须做三个关键调整:
- 实现固定并发数的任务调度机制:把同时处理的文件数量控制在安全范围(建议设置为128,仅为系统默认最大打开文件数的1/2,留足余量给其他系统调用),处理完一个文件、释放对应的文件描述符后,再从队列取下一个文件处理。
- 用Promise包装流读取的过程,保证每个文件的哈希计算、重命名操作完全执行完成,文件描述符释放后,再推进后续任务。
- 用Set结构替代普通数组存储已处理的哈希值,把去重查找的复杂度从O(n)降到O(1),大幅缩短单个任务的处理时长。
可直接运行的实现代码
const fs = require('fs/promises'); const fsSync = require('fs'); const path = require('path'); const crypto = require('crypto'); // 控制最大并发数,可根据系统调整,建议不超过200 const MAX_CONCURRENT = 128; // 用Set替代数组做哈希去重,查找效率O(1) const processedHashSet = new Set(); // 待处理文件队列 const fileQueue = []; // 当前正在处理的任务数 let activeTaskCount = 0; /** * 计算文件的MD5哈希值,返回Promise */ function calculateFileMD5(filepath) { return new Promise((resolve, reject) => { const hash = crypto.createHash('md5'); const readStream = fsSync.createReadStream(filepath); readStream.on('data', (chunk) => hash.update(chunk)); readStream.on('end', () => resolve(hash.digest('hex'))); readStream.on('error', reject); }); } /** * 处理单个文件:校验哈希、去重、重命名 */ async function processSingleFile(filepath) { const ext = path.extname(filepath); const baseName = path.basename(filepath, ext); let fileHash; // 已经是32位MD5格式的文件名,不需要重新计算哈希 if (/^[a-f0-9]{32}$/i.test(baseName)) { fileHash = baseName; } else { // 计算文件哈希,完成后读流自动释放文件描述符 fileHash = await calculateFileMD5(filepath); } // 检测到重复哈希,直接删除文件 if (processedHashSet.has(fileHash)) { console.log(`检测到重复文件: ${filepath},哈希值: ${fileHash}`); await fs.unlink(filepath); return; } // 文件名不符合哈希命名规则,执行重命名 const targetPath = path.join(path.dirname(filepath), `${fileHash}${ext}`); if (filepath !== targetPath) { await fs.rename(filepath, targetPath); } processedHashSet.add(fileHash); } /** * 目录递归遍历,将所有文件推入待处理队列 */ async function traverseDir(dirPath) { // 带withFileTypes参数时不需要额外调用stat,减少系统调用 const entries = await fs.readdir(dirPath, { withFileTypes: true }); for (const entry of entries) { const fullPath = path.join(dirPath, entry.name); if (entry.isDirectory()) { await traverseDir(fullPath); } else { fileQueue.push(fullPath); } } } /** * 队列任务调度,严格控制并发数 */ async function queueScheduler() { while (fileQueue.length > 0 || activeTaskCount > 0) { // 未达到并发上限就从队列取任务执行 while (fileQueue.length > 0 && activeTaskCount < MAX_CONCURRENT) { const targetFile = fileQueue.shift(); activeTaskCount++; processSingleFile(targetFile) .catch(err => console.error(`处理文件 ${targetFile} 失败:`, err.message)) .finally(() => { activeTaskCount--; }); } // 让出事件循环,等待任务完成 await new Promise(resolve => setImmediate(resolve)); } } // 启动处理流程 (async () => { const rootDir = path.join(__dirname, 'media'); console.log('开始遍历目录...'); await traverseDir(rootDir); console.log(`遍历完成,共发现 ${fileQueue.length} 个待处理文件,开始并发处理...`); await queueScheduler(); console.log(`全部处理完成,共处理 ${processedHashSet.size} 个唯一文件`); })();
运行注意事项
- 如果调高并发数后还是触发EMFILE,可以在运行脚本的终端执行
ulimit -n 4096临时调高当前会话的单进程最大文件打开数,作为系统级兜底。 - 遍历目录时不要全量使用同步API,30000个文件的场景下同步遍历会完全阻塞事件循环,拖慢整体处理速度。
- 读流读到文件末尾时会自动释放文件描述符,不需要手动调用
stream.destroy(),手动销毁反而可能触发未捕获的流错误。
内容的提问来源于stack exchange,提问作者Kvrn
相关产品推荐
相关产品推荐

