将图片转PNG后FFmpeg编码结果不一致的原因及解决方法

问题描述 #

将JPG先转成PNG再用FFmpeg编码为MP4，得到的结果和直接从JPG编码的MP4哈希值不同；且不同工具（FFmpeg、OpenCV、Pillow）转换的PNG再编码后的结果也存在差异，仅OpenCV和Pillow的结果匹配。同时先转PNG再编码的MP4文件比直接编码的小约10%。

测试代码：

from PIL import Image
import cv2
import ffmpeg
import hashlib

ffmpeg.input('test.jpg').output('testff.png').run()
cv2.imwrite('testcv.png',cv2.imread('test.jpg'))
Image.open('test.jpg').save('testpil.png')

hashes=[]
for suf in ['.jpg','ff.png','cv.png','pil.png']:
    dest='test'+suf.replace('.','')+'.mp4'
    ffmpeg.input('test'+suf).output(dest).run()
    hashes.append(hashlib.file_digest(open(dest,'rb'),'md5').hexdigest())
    
print(hashes)

运行得到的哈希值：

['a5b744a8ac0f6de9ec4de43ff737c46e',
'ab62474f2160899e064ba24890047372',
'baa788d5e4ef212ab610b8b5cf7772cb',
'baa788d5e4ef212ab610b8b5cf7772cb']

原因分析 #

1. JPG解码实现的差异
   FFmpeg、OpenCV、Pillow依赖的JPG解码库不同（FFmpeg用libjpeg-turbo或libjpeg，OpenCV默认也用libjpeg-turbo，Pillow则根据环境可能用libjpeg或libjpeg-turbo），解码同一张JPG时，在有损压缩的细节处理（比如DCT系数的舍入、颜色空间转换）上存在细微差异，导致解码后的像素值不完全一致。

   • OpenCV读入JPG时默认采用BGR颜色空间，Pillow读入是RGB，但两者保存PNG后再编码MP4时哈希一致，是因为FFmpeg编码时会自动处理颜色空间转换，最终生成的视频内容无差异。
   • FFmpeg自身转PNG时，默认的解码参数（比如像素格式）和OpenCV/Pillow不同，导致解码后的像素数据有差异，最终编码MP4的哈希值不同。

2. 直接编码与转PNG再编码的差异
   直接从JPG编码MP4时，FFmpeg可能会利用JPG的压缩特性（如复用部分原始压缩数据），或者解码流程与先转PNG再解码的流程存在差异，导致编码后的视频数据不同。而PNG是无损格式，保存了解码后的完整像素数据，H.264编码器对这类数据的压缩效率可能更高，因此文件大小更小。

解决方法 #

要在编码前避免修改图像数据（保证转PNG后的像素与原始JPG解码结果一致），可以从以下几点入手：

1. 统一解码工具与参数

   • 如果要让FFmpeg转PNG的结果和OpenCV/Pillow一致，可以指定匹配的像素格式。比如OpenCV用BGR格式，因此用FFmpeg转PNG时指定-pix_fmt bgr24参数：

     ffmpeg -i test.jpg -pix_fmt bgr24 testff.png
     

     这样转出来的PNG再编码MP4，哈希值会和OpenCV/Pillow的结果一致。
   • 反之，也可以调整OpenCV/Pillow的解码参数，对齐FFmpeg的默认解码行为，比如让Pillow以YCbCr颜色空间读入JPG。

2. 跳过PNG转换直接编码
   如果不需要中间PNG文件，直接用FFmpeg从JPG编码MP4，就能避免转PNG过程中的数据修改。

3. 强制使用相同的解码器
   确保所有工具使用同一版本的JPG解码库（比如统一用libjpeg-turbo），减少解码实现差异带来的像素数据变化。

内容的提问来源于stack exchange，提问作者Kalev Maricq