FFmpeg处理、Firebase函数与存储上传的异步行为及性能问题

1. Firebase函数结束后FFmpeg还在后台跑正常吗？ #

完全不正常。你代码里调用ffmpeg.run()时没加await，导致Cloud Functions启动FFmpeg进程后直接走完函数逻辑就返回了——此时函数实例已被标记为可回收状态，虽然你碰巧观察到FFmpeg继续运行，但这是不可靠的：Cloud Functions会随时终止闲置实例，FFmpeg进程大概率会被强制杀死，导致任务失败。

必须将FFmpeg的执行包装为Promise，让函数等待整个处理流程完成后再结束，确保所有操作都在函数生命周期内执行。

2. 分段上传至Firebase Storage延迟严重的原因与优化办法 #

主要原因 #

你当前采用串行循环+await逐个上传36个片段，完全没利用并行传输的优势，这是上传耗时59分钟的核心原因。此外还有几个辅助因素：

• 函数部署区域与Storage存储桶跨区域，增加传输延迟与成本
• 第一代Cloud Functions临时目录的IO性能有限，读写文件拖慢流程
• 未配置分片上传、并发控制等优化参数

优化办法 #

（1）修复FFmpeg异步等待问题

这是保障任务可靠性的基础，同时要解决第一代函数超时不足的问题：

// 替换原有的ffmpeg.run()，包装为可await的Promise
await new Promise((resolve, reject) => {
  ffmpeg(tempLocalFile)
    // 保留原有outputOptions、事件监听逻辑
    .on("end", async () => {
      // 后续上传、发邮件、清理逻辑
      resolve(); // 处理完成后标记Promise结束
    })
    .on("error", (err, stdout, stderr) => {
      console.error(`FFmpeg错误: ${err.message}`);
      console.log(`标准输出:\n${stdout}`);
      console.log(`错误输出:\n${stderr}`);
      reject(err); // 出错时抛出异常
    })
    .run();
});

注意：第一代Cloud Functions超时上限仅9分钟，无法满足你18分钟的FFmpeg处理需求，必须升级到第二代Cloud Functions，其支持最长60分钟超时，且性能更强。

（2）并行上传片段

将串行上传改为并行批量上传，大幅提升传输效率：

// 替换原有的for循环上传逻辑
const uploadTasks = segmentedFiles.map(async (file) => {
  const destination = `segments/${file}`;
  await storage.bucket(bucketName).upload(
    path.join(tempSegmentFolder, file),
    {
      destination,
      resumable: true, // 启用分片上传，适配大文件
      chunkSize: 5 * 1024 * 1024 // 设置5MB分片大小，可按需调整
    }
  );
  const fileUrl = `https://firebasestorage.googleapis.com/v0/b/${bucketName}/o/${encodeURIComponent(destination)}?alt=media`;
  console.log(`上传完成：${file} -> ${destination}`);
  return fileUrl;
});

// 并行执行所有上传任务
const segmentUrls = await Promise.all(uploadTasks);

若担心并发过高触发API限制，可改为分批上传：

// 分批上传示例，每次处理5个文件
const batchSize = 5;
for (let i = 0; i < segmentedFiles.length; i += batchSize) {
  const batch = segmentedFiles.slice(i, i + batchSize);
  const batchTasks = batch.map(async (file) => {
    // 同上的上传逻辑
  });
  await Promise.all(batchTasks);
}

（3）调整函数与存储配置

• 保持函数与存储桶同区域：比如函数部署在us-central1，存储桶也创建在该区域，避免跨区域传输的延迟与额外费用
• 升级第二代函数并加配资源：第二代函数可配置更高CPU（如4vCPU），提升FFmpeg视频处理速度
• 延长函数超时时间：在第二代函数配置中将超时设置为足够长（如3600秒），覆盖FFmpeg处理+上传的总耗时

（4）其他细节优化

• 流式上传跳过临时文件：将FFmpeg的输出直接通过Node.js流上传至Storage，省去磁盘IO环节（适合熟悉流处理的场景）
• 容错清理临时文件：用try/finally块确保无论任务成功或失败，临时文件都能被清理
• 添加进度监控：为FFmpeg处理和文件上传添加进度监听，方便排查性能瓶颈

完整修正后的核心代码片段 #

exports.segmentVideo = functions.storage.object().onFinalize(async (object) => {
  const filePath = object.name;

  if (filePath.startsWith("test/")) {
    console.log("1. 视频分割任务启动");
    const fileName = filePath.split("/").pop();
    const bucketName = object.bucket;
    const tempLocalFile = path.join(os.tmpdir(), fileName);
    const tempSegmentFolder = path.join(os.tmpdir(), "mySegments");

    try {
      await fs.mkdir(tempSegmentFolder, { recursive: true });
      await storage.bucket(bucketName).file(filePath).download({ destination: tempLocalFile });

      const metadata = object.metadata;
      const segmentDuration = metadata.segmentDuration ? parseInt(metadata.segmentDuration, 10) : 30;
      const userEmail = metadata.userEmail;
      console.log("2. 启动FFmpeg处理视频");

      // 包装FFmpeg为Promise，确保函数等待处理完成
      await new Promise((resolve, reject) => {
        ffmpeg(tempLocalFile)
          .outputOptions([
            `-f segment`,
            `-segment_time ${segmentDuration}`,
            `-reset_timestamps 1`,
            `-c copy`,
          ])
          .output(path.join(tempSegmentFolder, `output_${fileName}_%03d.mp4`))
          .on("start", (commandLine) => {
            console.log(`FFmpeg启动命令: ${commandLine}`);
          })
          .on("progress", (progress) => {
            console.log(`处理进度: ${progress.percent}%`);
          })
          .on("error", (err, stdout, stderr) => {
            console.error(`FFmpeg错误: ${err.message}`);
            console.log(`标准输出:\n${stdout}`);
            console.log(`错误输出:\n${stderr}`);
            reject(err);
          })
          .on("end", async () => {
            console.log("视频分割完成");

            const files = await fs.readdir(tempSegmentFolder);
            const segmentedFiles = files.filter((file) =>
              file.startsWith(`output_${fileName}`) && file.endsWith(".mp4")
            );

            // 并行上传所有片段
            const uploadTasks = segmentedFiles.map(async (file) => {
              const destination = `segments/${file}`;
              await storage.bucket(bucketName).upload(path.join(tempSegmentFolder, file), {
                destination,
                resumable: true,
                chunkSize: 5 * 1024 * 1024
              });
              const fileUrl = `https://firebasestorage.googleapis.com/v0/b/${bucketName}/o/${encodeURIComponent(destination)}?alt=media`;
              console.log(`上传完成：${file} -> ${destination}`);
              return fileUrl;
            });

            const segmentUrls = await Promise.all(uploadTasks);

            // 发送邮件逻辑
            if (userEmail && segmentUrls.length > 0) {
              try {
                await sendEmail(userEmail, segmentUrls);
                console.log("邮件发送成功");
              } catch (error) {
                console.error("邮件发送失败:", error);
              }
            } else {
              console.log("未发送邮件：缺少用户邮箱或无分割片段");
            }

            // 清理临时文件
            await Promise.all(segmentedFiles.map((file) =>
              fs.unlink(path.join(tempSegmentFolder, file))
            ));
            await fs.rm(tempSegmentFolder, { recursive: true, force: true });
            await fs.unlink(tempLocalFile);

            resolve();
          })
          .run();
      });

    } catch (err) {
      console.error("任务整体失败:", err);
      // 出错时尝试清理临时文件
      try {
        await fs.rm(tempSegmentFolder, { recursive: true, force: true });
        await fs.unlink(tempLocalFile);
      } catch (cleanupErr) {
        console.error("清理临时文件失败:", cleanupErr);
      }
      throw err; // 抛出错误标记任务失败
    }
  } else {
    console.log("文件不在目标目录，跳过处理");
  }
});

内容的提问来源于stack exchange，提问作者M4trix Dev