如何通过OpenGL ES向Android Surface传输图像流及相关实现疑问

你对Surface和SurfaceTexture的核心角色判断是正确的：Surface是Android图像流框架的生产者接口，SurfaceTexture是消费者端的持有者，但有一个常见的细节认知偏差需要纠正：

• 不存在直接将SurfaceTexture传入Camera、MediaPlayer等生产者组件的用法，实际开发中是先从目标SurfaceTexture实例构造Surface对象，再将Surface传递给生产者组件，生产者写入Surface的数据会自动流转到关联的SurfaceTexture完成消费。
• 你预期的「OpenGL绘制的纹理 -> Surface -> SurfaceTexture」流转流程完全符合Android图形框架的设计，官方原生支持该链路，无需额外做跨内存的像素拷贝。

单目标SurfaceTexture的OpenGL生产流程 #

全程在GPU侧完成，无额外开销，步骤如下：

• 初始化消费者端：创建SurfaceTexture实例，设置预期的帧尺寸、OnFrameAvailableListener帧可用回调
• 从已初始化的SurfaceTexture构造Surface实例，作为OpenGL的写入目标
• 初始化或切换EGL上下文时，将上述Surface绑定为当前EGL环境的EGLSurface，相当于将OpenGL的渲染输出窗口绑定到Surface对应的缓冲区队列
• 完成FBO离屏渲染后，将FBO的离屏纹理通过全屏着色器绘制到当前EGL环境的主帧缓存，调用eglSwapBuffers即可将渲染结果自动投递到关联的SurfaceTexture，触发消费者端的帧可用回调。

多SurfaceTexture目标分发流程 #

针对你需要将单张FBO渲染纹理分发到多个SurfaceTexture的需求，推荐两种适配不同场景的实现方案：

• 低目标数量场景（目标数≤10）：GPU循环绘制方案，无内存拷贝开销
  • 预先生成所有目标SurfaceTexture对应的Surface和EGLSurface实例，统一绑定到同一个共享EGL上下文
  • 完成FBO离屏渲染后，持有离屏纹理的ID，对每个目标执行如下操作：
    • 绑定当前目标的EGLSurface为当前EGL上下文的绘制目标
    • 用全屏顶点着色器+纹理采样片段着色器，将FBO离屏纹理绘制到当前帧缓存
    • 调用eglSwapBuffers将数据投递到对应SurfaceTexture
• 高目标数量场景（目标数>10）：ImageReader中转方案
  • 初始化对应尺寸的ImageReader，绑定其Surface为OpenGL的写入目标，FBO渲染完成后调用一次eglSwapBuffers得到帧对应的Image实例
  • 遍历所有目标Surface，将Image实例写入每个Surface完成分发，该方案仅产生一次GPU到内存的拷贝开销，适合大批量目标分发场景。

• 所有OpenGL操作、EGLSurface的切换必须在同一个共享EGL上下文的线程中执行，否则会出现纹理无法访问的异常
• 若不同目标SurfaceTexture的尺寸不一致，可通过glViewport适配输出尺寸，无需修改FBO的原始渲染分辨率
• 所有Surface、SurfaceTexture实例需在所有帧处理完成后统一释放，避免中途释放导致的渲染崩溃。

内容的提问来源于stack exchange，提问作者DK Moon