OSG中MRT多渲染目标技术实现相关问题求助

咱们来逐一解决你遇到的四个问题，结合你的代码给出具体的修复方案：

1. 如何在同一相机中正确渲染颜色+深度缓冲？ #

你的代码里直接修改了主相机来做MRT，但主相机本身要负责最终的屏幕渲染，这会导致冲突。正确的做法是创建一个独立的离屏渲染相机，专门负责把场景渲染到FBO的颜色和深度纹理上。另外，深度纹理的格式设置也需要调整：

• 确保GL_DEPTH_COMPONENT32是你的显卡支持的格式，也可以用GL_DEPTH_COMPONENT24来兼容更多设备；
• 离屏相机需要添加场景作为子节点，否则没有内容渲染到纹理；
• 主相机只负责显示颜色纹理（通过你创建的Geode），不要修改主相机的FBO设置。

修改后的setupMRTCamera函数和主相机设置示例：

osg::Camera* setupMRTCamera(
    std::vector<osg::Texture2D*>& attachedTextures,
    int w, int h,
    osg::Node* scene
) {
    osg::ref_ptr<osg::Camera> camera = new osg::Camera;
    camera->setClearColor(osg::Vec4(0,0,0,1));
    camera->setClearMask(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
    camera->setRenderTargetImplementation(osg::Camera::FRAME_BUFFER_OBJECT);
    camera->setRenderOrder(osg::Camera::PRE_RENDER);
    camera->setViewport(0, 0, w, h);
    camera->addChild(scene); // 把场景添加到离屏相机，让它渲染内容

    // 颜色纹理设置
    osg::Texture2D* colorTex = new osg::Texture2D;
    colorTex->setTextureSize(w, h);
    colorTex->setSourceType(GL_FLOAT);
    colorTex->setSourceFormat(GL_RGBA);
    colorTex->setInternalFormat(GL_RGBA32F);
    colorTex->setResizeNonPowerOfTwoHint(false);
    colorTex->setFilter(osg::Texture2D::MIN_FILTER, osg::Texture2D::LINEAR);
    colorTex->setFilter(osg::Texture2D::MAG_FILTER, osg::Texture2D::LINEAR);
    attachedTextures.push_back(colorTex);
    camera->attach(osg::Camera::COLOR_BUFFER, colorTex);

    // 深度纹理设置
    osg::Texture2D* depthTex = new osg::Texture2D;
    depthTex->setTextureSize(w, h);
    depthTex->setSourceType(GL_FLOAT);
    depthTex->setSourceFormat(GL_DEPTH_COMPONENT);
    depthTex->setInternalFormat(GL_DEPTH_COMPONENT24); // 换用更兼容的格式
    depthTex->setResizeNonPowerOfTwoHint(false);
    depthTex->setFilter(osg::Texture2D::MIN_FILTER, osg::Texture2D::LINEAR);
    depthTex->setFilter(osg::Texture2D::MAG_FILTER, osg::Texture2D::LINEAR);
    attachedTextures.push_back(depthTex);
    camera->attach(osg::Camera::DEPTH_BUFFER, depthTex);

    return camera.release();
}

// main函数里的修改：
int main() {
    osg::ref_ptr<osg::Group> root(new osg::Group);
    osg::Node* scene = osgDB::readNodeFile("cow.osg");

    unsigned int winW = 800;
    unsigned int winH = 600;

    osgViewer::Viewer viewer;
    viewer.setUpViewInWindow(0, 0, winW, winH);

    // 创建离屏MRT相机，传入场景
    std::vector<osg::Texture2D*> attachedTextures;
    osg::Camera* mrtCamera = setupMRTCamera(attachedTextures, winW, winH, scene);
    root->addChild(mrtCamera); // 把离屏相机加入根节点

    // 主相机显示颜色纹理的Geode
    osg::Geode* geode = new osg::Geode;
    geode->addDrawable(osg::createTexturedQuadGeometry(
        osg::Vec3(-1,-1,0), osg::Vec3(2.0,0.0,0.0), osg::Vec3(0.0,2.0,0.0))
    );
    geode->getOrCreateStateSet()->setTextureAttributeAndModes(
        0, attachedTextures[0], osg::StateAttribute::ON
    );
    root->addChild(geode);

    // 把回调绑定到离屏相机，确保读取的是刚渲染好的FBO数据
    mrtCamera->setPostDrawCallback(new SnapImage(mrtCamera->getGraphicsContext()));

    viewer.setSceneData(root.get());
    return viewer.run();
}

2. 如何正确读取深度与颜色缓冲？ #

你现在的回调绑定在主相机上，这时候主相机已经渲染了Geode，读取的是屏幕帧缓冲的数据，而不是离屏MRT的缓冲。正确的做法是：

• 把SnapImage回调绑定到离屏MRT相机的PostDrawCallback，这样在离屏相机渲染完纹理后立即读取；
• 也可以直接从纹理中读取像素（比glReadPixels更高效），比如用colorTex->readImageIntoImage(*_image)；
• 读取深度缓冲时，要确保当前绑定的是离屏相机的FBO，回调里的renderInfo.getCurrentCamera()就是离屏相机，所以没问题。

修改后的SnapImage回调：

struct SnapImage : public osg::Camera::DrawCallback {
    SnapImage(osg::Texture2D* colorTex, osg::Texture2D* depthTex) 
        : _colorTex(colorTex), _depthTex(depthTex) {
        int w = colorTex->getTextureWidth();
        int h = colorTex->getTextureHeight();
        _image = new osg::Image;
        _depth = new osg::Image;
        _image->allocateImage(w, h, 1, GL_RGBA, GL_FLOAT);
        _depth->allocateImage(w, h, 1, GL_DEPTH_COMPONENT, GL_FLOAT);
    }
    virtual void operator () (osg::RenderInfo& renderInfo) const {
        // 直接从纹理读取，更可靠
        _colorTex->readImageIntoImage(*_image);
        _depthTex->readImageIntoImage(*_depth);

        // 处理写入逻辑...
    }
    osg::ref_ptr<osg::Texture2D> _colorTex;
    osg::ref_ptr<osg::Texture2D> _depthTex;
    osg::ref_ptr<osg::Image> _image;
    osg::ref_ptr<osg::Image> _depth;
};

// 绑定回调时传入纹理：
mrtCamera->setPostDrawCallback(new SnapImage(attachedTextures[0], attachedTextures[1]));

3. GL_FLOAT图像写入磁盘报错的原因 #

PNG格式不支持浮点型像素数据，PNG只支持8位/16位无符号整数格式。要保存浮点数据，你需要：

• 使用支持浮点格式的文件类型，比如EXR（OSG支持osgDB::writeImageFile写入EXR）；
• 如果一定要保存为PNG，把浮点数据转换为GL_UNSIGNED_BYTE类型（比如把0-1的浮点值乘以255，转换为0-255的整数）。

示例修改：

// 保存为EXR（支持浮点）
osgDB::writeImageFile(*_image, "./Test-color.exr");
osgDB::writeImageFile(*_depth, "./Test-depth.exr");

// 或者转换为UNSIGNED_BYTE保存PNG
osg::ref_ptr<osg::Image> byteImage = new osg::Image;
byteImage->allocateImage(_image->s(), _image->t(), _image->r(), GL_RGBA, GL_UNSIGNED_BYTE);
// 把浮点RGBA（0-1）转换为字节（0-255）
float* floatData = (float*)_image->data();
unsigned char* byteData = (unsigned char*)byteImage->data();
for (int i=0; i<_image->s()*_image->t()*4; i++) {
    byteData[i] = (unsigned char)(std::clamp(floatData[i], 0.0f, 1.0f) * 255.0f);
}
osgDB::writeImageFile(*byteImage, "./Test-color.png");

4. 渲染纹理需要附加到osg::Geode吗？ #

• 不是必须的：Geode只是用来把纹理显示到屏幕上的载体。如果你的需求只是采集颜色/深度数据（不需要实时显示），完全不需要创建Geode；
• 如果要显示颜色缓冲，一个Geode就足够了：只需要把颜色纹理绑定到这个Geode的StateSet，深度纹理一般不需要可视化（如果要可视化深度，也可以用同一个Geode，切换纹理绑定即可）。

内容的提问来源于stack exchange，提问作者Rômulo Cerqueira