Node.js unlinkSync出现ECANCELED错误的成因与解决咨询

问题背景 #

应用环境：

• Node.js + Express框架
• 文件存储在谷歌云存储（GCS），且已通过挂载方式映射到本地路径/var/www/mb-stream-store/live/
• 批量删除处理完成后的MP4文件时，偶发出现未捕获异常ECANCELED: operation canceled

错误日志：

1/2/2024 13:33:32 3586817 [ERROR] uncaughtException Error: ECANCELED: operation canceled, unlink '/var/www/mb-stream-store/live/9e44d2771c052d44058245eda6cb334689ca78cc/stream120240102133244.mp4'
    at Object.unlinkSync (fs.js:1256:3)
    at unlinkFile (/var/www/nms/bin/app.js:209:6)
    at /var/www/nms/bin/app.js:230:5
    at Array.map (<anonymous>)
    at processFiles (/var/www/nms/bin/app.js:227:28)
    at Timeout._onTimeout (/var/www/nms/bin/app.js:122:5)
    at listOnTimeout (internal/timers.js:557:17)
    at processTimers (internal/timers.js:500:7) {
  errno: -125,
  syscall: 'unlink',
  code: 'ECANCELED',
  path: '/var/www/mb-stream-store/live/9e44d2771c052d44058245eda6cb334689ca78cc/stream120240102133244.mp4'
}

相关代码片段：

function unlinkFile(filePath) {
    try {
        fs.unlinkSync(filePath);
    } catch (err) {
        console.error("Error unlinking file:", err);
    }
}

该函数通过Array.map批量调用，多数场景运行正常，偶发触发未捕获异常。

问题解答 #

1. ECANCELED错误的成因 #

• GCS挂载的网络异常：文件存储在远程GCS并通过挂载工具（如gcsfuse）映射到本地，网络波动、延迟或临时中断会导致系统级的unlink操作被取消，触发ECANCELED错误。
• 文件资源占用冲突：待删除的MP4文件可能仍被其他进程（如流媒体服务、文件读取线程）占用，系统会中断删除操作以避免数据损坏。
• 批量同步操作的资源竞争：使用Array.map同步批量调用unlinkSync会阻塞事件循环，导致系统资源紧张，内核可能取消部分操作以恢复稳定性。
• 挂载工具的内部逻辑限制：部分GCS挂载工具存在超时或并发限制，当删除请求超过阈值时，会主动取消操作。

2. 预防措施与错误处理优化 #

• 替换为异步删除方法：将同步的unlinkSync改为异步的fs.promises.unlink，结合串行处理实现批量删除，避免阻塞事件循环：

  async function unlinkFile(filePath) {
      try {
          await fs.promises.unlink(filePath);
      } catch (err) {
          if (err.code !== 'ENOENT') { // 忽略文件已不存在的情况
              console.error("Error unlinking file:", err);
          }
      }
  }
  
  // 批量处理示例（串行避免资源竞争）
  async function processFiles(filePaths) {
      for (const filePath of filePaths) {
          await unlinkFile(filePath);
      }
  }
  

• 增加ECANCELED错误重试机制：针对网络波动导致的取消操作，添加重试逻辑：

  async function unlinkWithRetry(filePath, retries = 3) {
      try {
          await fs.promises.unlink(filePath);
      } catch (err) {
          if (err.code === 'ECANCELED' && retries > 0) {
              await new Promise(resolve => setTimeout(resolve, 500));
              return unlinkWithRetry(filePath, retries - 1);
          }
          console.error("Failed to unlink file after retries:", err);
      }
  }
  

• 完善全局错误兜底：添加全局捕获避免应用崩溃，同时区分处理ECANCELED这类非致命错误：

  process.on('uncaughtException', (err) => {
      if (err.code === 'ECANCELED') {
          console.warn("Caught ECANCELED error, skipping file:", err.path);
      } else {
          console.error("Uncaught fatal exception:", err);
          process.exit(1); // 非预期错误仍需退出避免应用状态异常
      }
  });
  

• 改用GCS官方SDK操作：避免挂载方式的网络依赖，直接通过SDK删除文件，减少系统级调用的不确定性：

  const { Storage } = require('@google-cloud/storage');
  const storage = new Storage();
  const bucket = storage.bucket('your-bucket-name');
  
  async function deleteGcsFile(filePath) {
      // 将本地挂载路径转换为GCS对象路径
      const gcsPath = filePath.replace('/var/www/mb-stream-store/live/', '');
      try {
          await bucket.file(gcsPath).delete();
      } catch (err) {
          console.error("Error deleting GCS file:", err);
      }
  }
  

• 删除前检查文件状态：通过fs.promises.access确认文件可操作，避免无效调用：

  async function unlinkFile(filePath) {
      try {
          await fs.promises.access(filePath, fs.constants.W_OK);
          await fs.promises.unlink(filePath);
      } catch (err) {
          if (err.code !== 'ENOENT') {
              console.error("Error unlinking file:", err);
          }
      }
  }
  

内容的提问来源于stack exchange，提问作者Sher Singh