如何使用Android MediaCodec编码RGBA并保留Alpha通道？

核心限制与前提 #

• Android原生VP8编码器对Alpha通道支持有限，优先选择VP9编码器（video/x-vnd.on2.vp9），多数现代Android设备的VP9编码器支持Alpha通道编码。
• MediaCodec默认不启用Alpha通道，需手动配置编码器参数开启。

关键配置步骤 #

1. 配置支持Alpha的VP9编码器格式 #

创建MediaFormat时必须指定Alpha模式，示例代码：

int width = 1920;
int height = 1080;
int bitRate = 8_000_000;
int frameRate = 30;
int iFrameInterval = 1;

MediaFormat format = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_VP9, width, height);
format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
format.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate);
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval);
// 根据图像的Alpha类型选择：STRAIGHT（非预乘）或 PREMULTIPLIED（预乘）
format.setInteger(MediaFormat.KEY_ALPHA_MODE, MediaFormat.ALPHA_MODE_STRAIGHT);

2. 优先使用Surface输入而非ByteBuffer #

多数VP9编码器对Surface输入的Alpha支持更稳定，通过OpenGL将RGBA纹理渲染到编码器的输入Surface：

• 初始化EGL上下文，绑定编码器提供的Surface：

MediaCodec encoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_VP9);
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
Surface inputSurface = encoder.createInputSurface();
encoder.start();

// 初始化EGL环境（参考Grafika的EGLWrapper实现）
EGLDisplay eglDisplay = EGL14.eglGetDisplay(EGL14.EGL_DEFAULT_DISPLAY);
EGL14.eglInitialize(eglDisplay, null, 0, null, 0);
// 配置EGL属性，要求支持Alpha
int[] attribList = {
        EGL14.EGL_RED_SIZE, 8,
        EGL14.EGL_GREEN_SIZE, 8,
        EGL14.EGL_BLUE_SIZE, 8,
        EGL14.EGL_ALPHA_SIZE, 8,
        EGL14.EGL_RENDERABLE_TYPE, EGL14.EGL_OPENGL_ES2_BIT,
        EGL14.EGL_NONE
};
// 选择合适的EGL配置、创建上下文、绑定inputSurface

• 将RGBA图像上传到OpenGL纹理，每一帧渲染到Surface后调用EGL14.eglSwapBuffers(eglDisplay, eglSurface)，触发编码器捕获帧数据。

3. 正确封装WebM文件 #

使用MediaMuxer封装编码器输出的数据流，注意：

• 输出格式指定为MediaFormat.MIMETYPE_VIDEO_VP9，Muxer会自动处理WebM的Alpha通道封装。
• 需等待编码器输出的第一个BUFFER_FLAG_CODEC_CONFIG数据，先写入Muxer再处理普通帧数据。

常见问题排查 #

• 设备不支持VP9 Alpha编码：通过MediaCodecList查询编码器支持的特性，示例：

MediaCodecList codecList = new MediaCodecList(MediaCodecList.REGULAR_CODECS);
for (MediaCodecInfo info : codecList.getCodecInfos()) {
    for (MediaCodecInfo.CodecCapabilities caps : info.getCapabilitiesForType(MediaFormat.MIMETYPE_VIDEO_VP9)) {
        if (caps.isFeatureSupported(MediaCodecInfo.CodecCapabilities.FEATURE_ALPHA_SUPPORT)) {
            // 该编码器支持Alpha通道
        }
    }
}

• Alpha通道显示异常：确认图像的Alpha类型（预乘/非预乘）与KEY_ALPHA_MODE配置一致；若使用ByteBuffer输入，需确保输入的颜色格式为编码器支持的带Alpha格式（如COLOR_FormatRGBA8888）。
• Grafika示例适配：Grafika默认示例可能未开启Alpha配置，需修改编码器的MediaFormat，添加KEY_ALPHA_MODE参数，并调整EGL配置以支持Alpha通道。

内容的提问来源于stack exchange，提问作者Ramil Galin