如何将MediaCodec输出缓冲区转换为OpenCV Mat？Android开发咨询

一、先解决ByteBuffer转OpenCV Mat的卡点 #

MediaCodec输出的缓冲区格式通常是YUV420系列（如COLOR_FormatYUV420Flexible），不同格式的转换方式略有差异，官方推荐优先使用Image对象而非直接操作ByteBuffer：

步骤代码示例 #

// 假设已通过dequeueOutputImage拿到帧索引index
Image image = codec.getOutputImage(index);
Image.Plane[] planes = image.getPlanes();
int width = image.getWidth();
int height = image.getHeight();

// 获取Y/U/V平面的缓冲区
ByteBuffer yBuffer = planes[0].getBuffer();
ByteBuffer uBuffer = planes[1].getBuffer();
ByteBuffer vBuffer = planes[2].getBuffer();

// 复制各平面数据到字节数组
byte[] yData = new byte[yBuffer.remaining()];
byte[] uData = new byte[uBuffer.remaining()];
byte[] vData = new byte[vBuffer.remaining()];
yBuffer.get(yData);
uBuffer.get(uData);
vBuffer.get(vData);

// 创建YUV_I420格式的Mat
Mat yuvMat = new Mat(height + height/2, width, CvType.CV_8UC1);
// 填充Y通道
Mat yMat = yuvMat.submat(0, height, 0, width);
yMat.put(0, 0, yData);
// 填充U通道（YUV420的U是1/2宽高）
Mat uMat = yuvMat.submat(height, height + height/4, 0, width/2);
uMat.put(0, 0, uData);
// 填充V通道
Mat vMat = yuvMat.submat(height + height/4, height + height/2, 0, width/2);
vMat.put(0, 0, vData);

// 转换为OpenCV常用的BGR格式
Mat bgrMat = new Mat();
Imgproc.cvtColor(yuvMat, bgrMat, Imgproc.COLOR_YUV2BGR_I420);

// 在这里对bgrMat做颜色转换等处理
// ...

// 务必释放资源，避免内存泄漏
yMat.release();
uMat.release();
vMat.release();
yuvMat.release();
bgrMat.release();
image.close();

如果你的MediaCodec输出是固定格式（如COLOR_FormatYUV420SemiPlanar即NV21），可直接用COLOR_YUV2BGR_NV21作为转换码，简化步骤。

二、更优的开发方案建议 #

1. 实时播放+处理：MediaCodec + SurfaceTexture + OpenCV #

这种方案适合边播边处理的场景，性能更优：

• 创建SurfaceTexture并设置OnFrameAvailableListener，将其转为Surface传给MediaCodec作为输出目标
• 在onFrameAvailable回调中调用updateTexImage()获取纹理ID
• 通过OpenGL或OpenCV的OpenGL绑定接口，将纹理数据读取为Mat进行处理
• 处理后的帧可重新转为纹理，渲染到TextureView或SurfaceView完成播放

2. 用封装库降低复杂度 #

如果不想深入MediaCodec底层细节，可使用现成的封装库：

• MobileFFmpeg：直接读取视频帧，转成YUV/RGB数据后创建Mat，API更直观，适合新手，但会增加APK体积
• OpenCV VideoCapture：部分设备支持直接用VideoCapture读取本地视频文件，不过兼容性不如MediaCodec

3. 新手必看的细节 #

• 权限：Android 10及以上用MediaStore访问视频，10以下需申请READ_EXTERNAL_STORAGE
• 线程：帧处理逻辑放在子线程执行，避免阻塞UI线程
• 资源复用：尽量复用Mat、ByteBuffer等对象，减少内存开销
• 兼容性：不同设备的MediaCodec输出格式可能不同，需提前检测并适配

内容的提问来源于stack exchange，提问作者Beomsik Park