如何优化FFmpeg同时裁剪叠加上千个16x16块的处理性能

你当前实现速度极慢、CPU占用低的核心原因有三点：

• 链式overlay逻辑性能极差：单帧需要连续执行1589次crop+1588次overlay，每执行一次overlay就会生成一张全分辨率中间帧并做全量像素拷贝，单帧累计处理的数据量是原始帧的上千倍，完全是冗余计算。
• 滤镜默认单线程执行：串行的overlay链无法并行调度，4核CPU下刚好只能跑满1个核心，对应你看到的25% CPU占用，x264编码器的多线程能力根本没有发挥空间。
• 冗余操作消耗资源：你对音频做了无意义的重编码，额外占用了CPU资源。

核心修改1：替换链式overlay为xstack一次性拼接 #

xstack是FFmpeg专门为多画面拼接设计的滤镜，支持一次性将所有裁剪好的16x16块排布到目标位置，没有中间帧拷贝开销，且原生支持多线程。
修改你原来的filter生成逻辑，把overlay拼接部分替换为xstack逻辑：

// 替换原来的overlay循环部分
let xstackInputs = '';
const layoutList = [];
for (let i=0; i < info.length; i++) {
    xstackInputs += `[c${i}]`;
    layoutList.push(`${info[i].x}_${info[i].y}`);
}
filterCommands += `${xstackInputs}xstack=inputs=${totalBlock}:layout='${layoutList.join('|')}'`;

注意：854宽度不是16的整数倍，最后一列块实际宽度为6px，你需要在crop逻辑里对最后一列单独判断宽度，避免出现黑边或裁剪越界。

核心修改2：开启全链路多线程，去掉冗余音频编码 #

修改FFmpeg启动参数，强制滤镜、编码都用满CPU核心，同时直接复制音频流不需要重编码：

const task = spawn('ffmpeg', [
    '-i', 'C:\\Software Development\\ffmpeg\\blackpink.mp4',
    '-filter_complex_script', 'C:\\Software Development\\project\\filter.txt',
    '-filter_threads', '0', // 滤镜自动匹配CPU核心数多线程运行
    '-threads', '0', // 编码器自动用满所有核心
    '-c:v', 'libx264',
    '-preset', 'ultrafast',
    '-pix_fmt', 'yuv420p',
    '-c:a', 'copy', // 音频直接流复制，无重编码开销
    '-progress', '-',
    '-y', 'output.mp4'
], {
    cwd: 'C:\\Software Development\\ffmpeg'
});

如果你的电脑有独立显卡/支持硬编码的核显，可以把libx264替换为对应硬编码器，速度还能再提3~5倍：

• N卡：h264_nvenc
• AMD显卡：h264_amf
• Intel核显：h264_qsv

如果你需要每帧使用不同的打乱映射表，纯FFmpeg滤镜无法实现，可以改用Node.js的sharp库（基于libvips多线程图像处理）逐帧处理后pipe给FFmpeg编码，性能同样远高于当前的链式overlay实现。

内容的提问来源于stack exchange，提问作者yuno saga