如何解决JavaCV生成视频的像素抖动问题

我用JavaCV将带文字和PNG图标叠加的图片生成视频，输出视频存在仅全屏可见的像素抖动问题，但用MoviePy生成同类型视频画质稳定。两者都使用libx264编码器：JavaCV设置800Kbps比特率，输出文件7MB；MoviePy未指定比特率，实际约500Kbps，输出文件5MB，但后者画质更优。

JavaCV的FFmpegFrameRecorder配置 #

FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(this.outputPath, 
                                           this.screensizeX, this.screensizeY);
if(this.videoCodecName!=null && "libx264".equals(this.videoCodecName)) {
    recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
}
recorder.setFormat("mp4"); 
recorder.setPixelFormat(avutil.AV_PIX_FMT_YUV420);
recorder.setVideoBitrate(800000);
recorder.setImageWidth(this.screensizeX);
recorder.setFrameRate(24);

MoviePy的视频写入配置 #

Full_final_clip.write_videofile(
                            f"{video_folder_path}/{FILE_ID}_INTERMEDIATE.mp4",
                            codec="libx264",
                            audio_codec="aac",
                            temp_audiofile=f"{FILE_ID}_INTER_temp-audio.m4a",
                            remove_temp=True,
                            fps=24,
                        )

我尝试设置CRF值但无效果，提高比特率虽能小幅改善画质但会增大文件体积，仍存在像素问题。怀疑视频中的缩放动画是抖动诱因，以下是缩放动画代码：

缩放动画实现代码 #

private Mat applyZoomEffect(Mat frame, int currentFrame, long effectFrames, int width, int height, String mode, String position, double speed) {
        long totalFrames = effectFrames;
        double i = currentFrame;
        if ("out".equals(mode)) {
            i = totalFrames - i;
        }
        double zoom = 1 + (i * ((0.1 * speed) / totalFrames));

        double originalCenterX = width/2.0;
        double originalCenterY = height/2.0;
   

        // Resize image
        //opencv_imgproc.resize(frame, resizedMat, new Size(newWidth, newHeight));

        // Determine crop region based on position
        double x = 0, y = 0;
        switch (position.toLowerCase()) {
            case "center":
                // Adjusting for center zoom
                 x = originalCenterX - originalCenterX * zoom;
                 y = originalCenterY - originalCenterY * zoom;
                 
                 x= (width-(width*zoom))/2.0;
                 y= (height-(height*zoom))/2.0;
                break;
        }

        double[][] rowData = {{zoom, 0, x},{0,zoom,y}};

        double[] flatData = flattenArray(rowData);

        // Create a DoublePointer from the flattened array
        DoublePointer doublePointer = new DoublePointer(flatData);

        // Create a Mat object with two rows and three columns
        Mat mat = new Mat(2, 3, org.bytedeco.opencv.global.opencv_core.CV_64F); // CV_64F is for double type

        // Put the data into the Mat object
        mat.data().put(doublePointer);
        Mat transformedFrame = new Mat();
        opencv_imgproc.warpAffine(frame, transformedFrame, mat, new Size(frame.cols(), frame.rows()),opencv_imgproc.INTER_LANCZOS4,0,new Scalar(0,0,0,0));
        return transformedFrame;
    }

问题原因分析 #

1. 编码模式差异：MoviePy默认采用CRF（恒定质量）模式，会根据画面复杂度动态分配比特；而JavaCV使用固定比特率（CBR），在动态画面（如缩放）下比特分配不足，导致压缩失真和抖动。你设置CRF无效，大概率是未正确禁用固定比特率，导致CRF参数被覆盖。
2. 缩放的亚像素偏移：缩放计算中的x、y偏移量为浮点值，warpAffine处理后产生亚像素偏移，帧间偏移量非整数像素时，全屏显示会放大这种微小差异，形成抖动；同时亚像素偏移会增加编码器预测难度，加重压缩失真。
3. 色彩空间转换误差：带透明通道的PNG叠加后，alpha通道处理或RGB转YUV420过程中可能存在精度损失，引入噪点，全屏时显现为抖动。

优化方案 #

1. 切换到CRF编码模式 #

JavaCV中需先禁用固定比特率，再设置CRF及相关优化参数：

recorder.setVideoBitrate(0); // 必须先禁用固定比特率，否则CRF不生效
recorder.setVideoOption("crf", "23"); // libx264默认CRF值，18-28区间可调，值越小画质越好
recorder.setVideoOption("preset", "medium"); // 平衡速度与画质，MoviePy默认用该预设
recorder.setVideoOption("tune", "animation"); // 针对合成/动画画面优化，减少色块和抖动
recorder.setVideoOption("profile", "high"); // 启用高profile，支持更多压缩优化

2. 修复缩放动画的像素对齐问题 #

确保偏移量为整数，避免亚像素偏移：

// 在计算x、y后添加取整逻辑
x = Math.round(x);
y = Math.round(y);

或者改用“先放大再裁剪”的方式，更直观且像素对齐更准确：

private Mat applyZoomEffect(Mat frame, int currentFrame, long effectFrames, int width, int height, String mode, String position, double speed) {
    long totalFrames = effectFrames;
    double i = currentFrame;
    if ("out".equals(mode)) {
        i = totalFrames - i;
    }
    double zoom = 1 + (i * ((0.1 * speed) / totalFrames));

    // 先放大原图
    Mat resized = new Mat();
    double newWidth = width * zoom;
    double newHeight = height * zoom;
    opencv_imgproc.resize(frame, resized, new Size(newWidth, newHeight), 0, 0, opencv_imgproc.INTER_LANCZOS4);

    // 计算中心裁剪区域，确保坐标为整数
    int cropX = (int)Math.round((newWidth - width) / 2);
    int cropY = (int)Math.round((newHeight - height) / 2);
    // 裁剪到目标尺寸
    return new Mat(resized, new Rect(cropX, cropY, width, height));
}

3. 优化帧处理与色彩空间转换 #

• 确保PNG叠加时alpha通道正确混合，避免黑色底色干扰；
• 使用JavaCV的帧转换器处理图像，确保色彩空间正确转换为YUV420：

OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();
Frame outputFrame = converter.convert(transformedFrame);
recorder.record(outputFrame);

若处理带透明通道的图像，可改用Java2DFrameConverter，确保alpha通道正确融合到RGB后再转换。

4. 基础检查 #

• 确认输出视频的分辨率为偶数（libx264要求宽高为偶数，否则会自动缩放引入额外失真）；
• 检查帧速率是否稳定，避免帧间时间间隔波动导致的播放抖动。

内容的提问来源于stack exchange，提问作者Vikram