You need to enable JavaScript to run this app. Node.js批量计算多文件MD5哈希并重命名查重触发EMFILE错误的解决
优惠活动
大模型
产品
解决方案
定价
更多

Node.js批量计算多文件MD5哈希并重命名查重触发EMFILE错误的解决

EMFILE 报错核心原因

你两段代码触发报错的本质问题,都是没有做任何并发限制:

  • 递归遍历目录时,遇到文件就立刻发起stat校验、创建文件读流,没有任何排队机制,30000个文件的量级下,所有异步操作会瞬间被推入事件循环,每个读操作/流都会占用一个系统文件描述符,很快就会超过系统允许单进程打开的最大文件数,直接抛出EMFILE错误。
  • 代码中存在错误的await用法:对stream实例直接await,因为stream不是标准Promise对象,await根本不会等待流读取完成,执行完创建流的语句就立刻开始处理下一个文件,进一步放大了瞬时打开的文件数量。
  • 用数组的includes()方法做哈希去重,30000条数据下每次查找需要遍历整个数组,性能极低,进一步拉长了每个任务的处理时长,让文件描述符的占用时间变长,更容易触达系统上限。
优化方案的核心逻辑

要稳定处理30000个文件不触发EMFILE,必须做三个关键调整:

  • 实现固定并发数的任务调度机制:把同时处理的文件数量控制在安全范围(建议设置为128,仅为系统默认最大打开文件数的1/2,留足余量给其他系统调用),处理完一个文件、释放对应的文件描述符后,再从队列取下一个文件处理。
  • 用Promise包装流读取的过程,保证每个文件的哈希计算、重命名操作完全执行完成,文件描述符释放后,再推进后续任务。
  • 用Set结构替代普通数组存储已处理的哈希值,把去重查找的复杂度从O(n)降到O(1),大幅缩短单个任务的处理时长。
可直接运行的实现代码
const fs = require('fs/promises');
const fsSync = require('fs');
const path = require('path');
const crypto = require('crypto');

// 控制最大并发数,可根据系统调整,建议不超过200
const MAX_CONCURRENT = 128;
// 用Set替代数组做哈希去重,查找效率O(1)
const processedHashSet = new Set();
// 待处理文件队列
const fileQueue = [];
// 当前正在处理的任务数
let activeTaskCount = 0;

/**
 * 计算文件的MD5哈希值,返回Promise
 */
function calculateFileMD5(filepath) {
  return new Promise((resolve, reject) => {
    const hash = crypto.createHash('md5');
    const readStream = fsSync.createReadStream(filepath);
    
    readStream.on('data', (chunk) => hash.update(chunk));
    readStream.on('end', () => resolve(hash.digest('hex')));
    readStream.on('error', reject);
  });
}

/**
 * 处理单个文件:校验哈希、去重、重命名
 */
async function processSingleFile(filepath) {
  const ext = path.extname(filepath);
  const baseName = path.basename(filepath, ext);
  let fileHash;

  // 已经是32位MD5格式的文件名,不需要重新计算哈希
  if (/^[a-f0-9]{32}$/i.test(baseName)) {
    fileHash = baseName;
  } else {
    // 计算文件哈希,完成后读流自动释放文件描述符
    fileHash = await calculateFileMD5(filepath);
  }

  // 检测到重复哈希,直接删除文件
  if (processedHashSet.has(fileHash)) {
    console.log(`检测到重复文件: ${filepath},哈希值: ${fileHash}`);
    await fs.unlink(filepath);
    return;
  }

  // 文件名不符合哈希命名规则,执行重命名
  const targetPath = path.join(path.dirname(filepath), `${fileHash}${ext}`);
  if (filepath !== targetPath) {
    await fs.rename(filepath, targetPath);
  }

  processedHashSet.add(fileHash);
}

/**
 * 目录递归遍历,将所有文件推入待处理队列
 */
async function traverseDir(dirPath) {
  // 带withFileTypes参数时不需要额外调用stat,减少系统调用
  const entries = await fs.readdir(dirPath, { withFileTypes: true });
  for (const entry of entries) {
    const fullPath = path.join(dirPath, entry.name);
    if (entry.isDirectory()) {
      await traverseDir(fullPath);
    } else {
      fileQueue.push(fullPath);
    }
  }
}

/**
 * 队列任务调度,严格控制并发数
 */
async function queueScheduler() {
  while (fileQueue.length > 0 || activeTaskCount > 0) {
    // 未达到并发上限就从队列取任务执行
    while (fileQueue.length > 0 && activeTaskCount < MAX_CONCURRENT) {
      const targetFile = fileQueue.shift();
      activeTaskCount++;
      
      processSingleFile(targetFile)
        .catch(err => console.error(`处理文件 ${targetFile} 失败:`, err.message))
        .finally(() => {
          activeTaskCount--;
        });
    }
    // 让出事件循环,等待任务完成
    await new Promise(resolve => setImmediate(resolve));
  }
}

// 启动处理流程
(async () => {
  const rootDir = path.join(__dirname, 'media');
  console.log('开始遍历目录...');
  await traverseDir(rootDir);
  console.log(`遍历完成,共发现 ${fileQueue.length} 个待处理文件,开始并发处理...`);
  await queueScheduler();
  console.log(`全部处理完成,共处理 ${processedHashSet.size} 个唯一文件`);
})();
运行注意事项
  • 如果调高并发数后还是触发EMFILE,可以在运行脚本的终端执行ulimit -n 4096临时调高当前会话的单进程最大文件打开数,作为系统级兜底。
  • 遍历目录时不要全量使用同步API,30000个文件的场景下同步遍历会完全阻塞事件循环,拖慢整体处理速度。
  • 读流读到文件末尾时会自动释放文件描述符,不需要手动调用stream.destroy(),手动销毁反而可能触发未捕获的流错误。

内容的提问来源于stack exchange,提问作者Kvrn

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 13:45:11