如何将LWJGL游戏场景渲染到ByteBuffer并输出为视频流

现有代码错误点 #

• 连续调用glGetTexImage和glReadPixels，两个方法会向同一个ByteBuffer写入数据，后者会覆盖前者的内容
• glGetTexImage调用参数错误：目标参数误用GL_TEXTURE_BUFFER，且调用前未绑定离屏FBO对应的2D颜色纹理，无法读取到有效数据
• 未设置像素存储对齐参数，当画面宽度不是4的倍数时，读取的像素数据会出现错位
• OpenGL默认像素Y轴顺序为从下到上，和绝大多数视频编码的从上到下顺序不匹配，直接使用会导致输出画面上下颠倒

正确实现方案 #

方案1：从离屏FBO纹理直接读取（性能更高） #

渲染到离屏FBO后直接读取纹理数据，不需要经过窗口帧缓冲，适合不需要同时显示画面的纯离线渲染场景：

import org.lwjgl.BufferUtils;
import static org.lwjgl.opengl.GL11.*;
import static org.lwjgl.opengl.GL30.*;

private void runAndUpdateRenderLoop() {
    // 原有渲染逻辑：将场景渲染到自定义离屏FBO，假设离屏FBO的颜色附件纹理ID为fboColorTextureId
    // ...

    // 创建符合LWJGL字节序要求的ByteBuffer
    ByteBuffer frameBuffer = BufferUtils.createByteBuffer(width * height * 4);
    // 绑定离屏FBO的颜色纹理
    glBindTexture(GL_TEXTURE_2D, fboColorTextureId);
    // 读取纹理像素数据到缓冲区
    glGetTexImage(GL_TEXTURE_2D, 0, GL_RGBA, GL_UNSIGNED_BYTE, frameBuffer);
    // 解绑纹理
    glBindTexture(GL_TEXTURE_2D, 0);

    // 如需要同时将画面输出到窗口，保留原有blit和交换缓冲逻辑
    glBindFramebuffer(GL_DRAW_FRAMEBUFFER, 0);
    glBlitFramebuffer(0, 0, width, height, 0, 0, width, height, GL_COLOR_BUFFER_BIT, GL_NEAREST);
    glfwSwapBuffers(window);

    // 此处frameBuffer已存储有效像素数据，可直接送入视频编码逻辑
    encodeFrame(frameBuffer);
}

方案2：从默认窗口帧缓冲读取 #

blit到默认帧缓冲后读取，适合需要同时显示画面的场景：

import org.lwjgl.BufferUtils;
import static org.lwjgl.opengl.GL11.*;
import static org.lwjgl.opengl.GL30.*;

private void runAndUpdateRenderLoop() {
    // 原有渲染逻辑：将场景渲染到自定义离屏FBO
    // ...

    // blit离屏FBO内容到默认窗口帧缓冲
    glBindFramebuffer(GL_DRAW_FRAMEBUFFER, 0);
    glBlitFramebuffer(0, 0, width, height, 0, 0, width, height, GL_COLOR_BUFFER_BIT, GL_NEAREST);

    // 读取默认帧缓冲像素
    ByteBuffer frameBuffer = BufferUtils.createByteBuffer(width * height * 4);
    // 显式绑定读帧缓冲为默认帧缓冲
    glBindFramebuffer(GL_READ_FRAMEBUFFER, 0);
    // 设置像素存储对齐为1字节，避免非4倍数宽度下数据错位
    glPixelStorei(GL_PACK_ALIGNMENT, 1);
    // 读取像素数据
    glReadPixels(0, 0, width, height, GL_RGBA, GL_UNSIGNED_BYTE, frameBuffer);
    // 恢复默认对齐参数（可选）
    glPixelStorei(GL_PACK_ALIGNMENT, 4);

    glfwSwapBuffers(window);

    // 翻转Y轴适配视频编码要求
    frameBuffer = flipYAxis(frameBuffer, width, height);
    encodeFrame(frameBuffer);
}

// Y轴翻转工具方法
private ByteBuffer flipYAxis(ByteBuffer buffer, int width, int height) {
    int stride = width * 4;
    byte[] row = new byte[stride];
    for (int y = 0; y < height / 2; y++) {
        int topOffset = y * stride;
        int bottomOffset = (height - 1 - y) * stride;
        buffer.get(topOffset, row);
        buffer.position(bottomOffset);
        buffer.put(row, 0, stride);
        buffer.position(topOffset);
        buffer.put(buffer.array(), bottomOffset, stride);
    }
    buffer.rewind();
    return buffer;
}

无ByteBuffer中间层的替代方案 #

如果要跳过CPU侧ByteBuffer中间层，降低内存拷贝开销，可以直接将离屏纹理的GPU内存句柄传递给硬件编码接口，实现GPU渲染→GPU编码的零拷贝流程，性能远高于读回CPU内存的方案，适合高分辨率高帧率的视频流输出场景。

内容的提问来源于stack exchange，提问作者Gabriel Robaina