Android视频帧捕获后显示右倾90度问题排查求助（Jcodec、Tomcat）

我之前也碰到过类似的问题，大概率是Android拍摄的视频自带旋转元数据，而Jcodec默认不会自动处理这个旋转，再加上不同服务器/环境对图片EXIF信息的处理逻辑不一样，才导致了这种差异。咱们一步步来排查和解决：

首先得搞清楚旋转是发生在捕获阶段还是显示阶段：

• 把你用Jcodec捕获的帧直接保存成本地图片文件，用系统自带的图片查看器打开（别用浏览器）。
  • 如果本地查看时图片就是向右倾斜90度：说明捕获阶段没处理视频的旋转元数据，帧本身就是歪的。
  • 如果本地查看是正常竖屏：那问题出在显示阶段——其他服务器或浏览器没有读取图片的EXIF旋转信息，导致按原始像素方向显示。

Android拍的MP4视频会把旋转角度（通常是90度）存在视频的元数据里，Jcodec 0.2.2可以读取这个信息，然后在捕获帧时主动旋转图像，从根源解决问题。

这里给你一段完整的示例代码：

import org.jcodec.api.JCodecException;
import org.jcodec.common.io.NIOUtils;
import org.jcodec.common.io.SeekableByteChannel;
import org.jcodec.common.model.Picture;
import org.jcodec.containers.mp4.MP4Demuxer;
import org.jcodec.containers.mp4.MP4DemuxerTrack;
import org.jcodec.containers.mp4.boxes.MovieHeaderBox;
import org.jcodec.scale.AWTUtil;

import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.awt.Graphics2D;
import java.awt.geom.AffineTransform;

public class VideoFrameCapture {
    public static BufferedImage captureAndFixRotation(File videoFile, int targetFrame) throws IOException, JCodecException {
        // 打开视频文件
        SeekableByteChannel channel = NIOUtils.readableFileChannel(videoFile);
        MP4Demuxer demuxer = MP4Demuxer.createMP4Demuxer(channel);

        // 获取视频轨道
        MP4DemuxerTrack videoTrack = demuxer.getVideoTrack();
        if (videoTrack == null) {
            throw new IllegalArgumentException("视频文件中未找到视频轨道");
        }

        // 读取视频的旋转角度（Android视频通常存在这里）
        int rotation = 0;
        MovieHeaderBox movieHeader = demuxer.getMovie().getMovieHeader();
        if (movieHeader != null) {
            rotation = movieHeader.getRotation();
        }

        // 定位到目标帧并捕获
        videoTrack.seekToFramePrecise(targetFrame);
        Picture rawFrame = videoTrack.nextFrame();
        BufferedImage frameImage = AWTUtil.toBufferedImage(rawFrame);

        // 如果有旋转角度，修正图像方向
        if (rotation != 0) {
            frameImage = rotateBufferedImage(frameImage, rotation);
        }

        // 关闭资源
        NIOUtils.closeQuietly(channel);
        return frameImage;
    }

    private static BufferedImage rotateBufferedImage(BufferedImage image, int degrees) {
        int originalWidth = image.getWidth();
        int originalHeight = image.getHeight();

        // 旋转后宽高互换
        BufferedImage rotatedImage = new BufferedImage(originalHeight, originalWidth, image.getType());
        Graphics2D g2d = rotatedImage.createGraphics();

        // 计算旋转中心并执行旋转
        AffineTransform transform = new AffineTransform();
        transform.rotate(Math.toRadians(degrees), originalHeight / 2.0, originalHeight / 2.0);
        g2d.setTransform(transform);
        g2d.drawImage(image, 0, 0, null);
        g2d.dispose();

        return rotatedImage;
    }
}

这段代码的核心逻辑：

1. 从MP4文件中读取视频的旋转元数据
2. 捕获原始帧后，根据旋转角度对BufferedImage进行旋转修正
3. 输出的图片本身就是正确的竖屏方向，不需要依赖任何服务器或浏览器的EXIF处理逻辑

如果本地查看图片是正常的，那问题出在其他服务器的图片处理逻辑上：

• 有些服务器会自动剥离图片的EXIF信息，或者浏览器没有开启自动旋转功能
• 解决办法：要么在捕获时就像上面那样直接旋转图像（最省心），要么在前端用JavaScript读取图片的EXIF旋转信息，通过CSS动态调整显示角度

内容的提问来源于stack exchange，提问作者User