FFMPEG混合两组PNG序列时因色彩空间不匹配丢帧如何解决

• 丢帧、不同步问题核心来自两个原因：
  1. blend滤镜不支持输入流中途动态切换像素格式（rgb24和rgba来回跳转），格式切换时对应帧会因为格式不匹配被直接丢弃
  2. ffmpeg默认的帧同步策略在双输入滤镜场景下，遇到输入帧属性变化时会优先对齐最低公共可用帧，最终导致30帧仅剩26帧

你提到的先将两个输入统一转为rgb24格式的思路完全有效，无需提前单独转码，直接在滤镜链中加格式转换步骤即可一步完成处理，也可根据需求选择保留alpha通道。

方案1：统一转rgb24格式（不需要保留alpha通道） #

修改后的命令如下：

ffmpeg -framerate 30 -i a_%04d.png -framerate 30 -i b_%04d.png -c:v libvpx -crf 4 -b:v 20M -filter_complex "[0:v]format=rgb24[a];[1:v]format=rgb24[b];[a][b]blend=average,format=yuv420p" -r 30 ab.webm

调整说明 #

• 开头加-framerate 30强制指定输入图像序列的帧率，避免ffmpeg默认按25fps读取导致的帧计数错误
• 滤镜链中分别给两个输入加format=rgb24，统一转换为无alpha通道的rgb24格式，彻底解决中途格式切换的问题
• 末尾加format=yuv420p是因为libvpx编码默认需要YUV格式，避免自动转格式时出现兼容性问题
• 最后加-r 30强制输出帧率为30，保证30帧全部输出

方案2：统一转rgba格式（需要保留alpha通道） #

如果混合逻辑需要用到alpha通道，可将转换格式改为rgba，blend滤镜原生支持rgba格式输入，只要两个输入格式统一就不会丢帧，命令如下：

ffmpeg -framerate 30 -i a_%04d.png -framerate 30 -i b_%04d.png -c:v libvpx -crf 4 -b:v 20M -filter_complex "[0:v]format=rgba[a];[1:v]format=rgba[b];[a][b]blend=average" -r 30 ab.webm

运行修改后的命令，查看输出日志中的frame数值，显示frame=30即代表所有帧都被正确处理。

内容的提问来源于stack exchange，提问作者Ismir Egal