OpenGL屏幕转世界坐标：glm::unProject问题与模型变换失效排查

场景背景 #

需求：从鼠标屏幕2D位置获取3D世界中最近的点。
实现细节：

• 使用顶点坐标为0.f或0.5f的三角形、立方体等简单模型
• OpenGL渲染器通过tx/ty/tz/rx/ry/rz控制model矩阵（本地空间→世界空间变换）
• 飞行相机控制view矩阵（世界空间→视图空间）和proj矩阵（视图空间→裁剪空间）
• 通过glm::unProject或手动反投影实现坐标转换，已开启深度测试

遇到的问题 #

• 初始状态下，三角形的x/y世界坐标正确，但z值为0（预期为-5，因tz=-5），手动反投影结果异常；
• 三角形沿x轴平移（tx=0.5）后，获取的坐标仍为本地坐标，未体现平移；
• 立方体初始状态下x/y/z坐标正确，但沿y轴平移后，获取的坐标也未体现平移；
• 疑问：glm::unProject文档中的「对象坐标」具体指哪个坐标系？为何model变换被忽略？如何获取包含model变换的真实世界坐标？

解决方案与疑问解答 #

核心问题：矩阵变换链的理解错误 #

OpenGL的坐标转换链是：本地空间 → 世界空间 → 视图空间 → 裁剪空间 → 屏幕空间

glm::unProject的行为完全取决于你传入的modelview矩阵：

• 如果你传入的是view * model（本地→视图的变换矩阵），反投影结果是本地空间坐标（也就是文档里说的「对象坐标」）——这就是你平移model后坐标不变的原因：你拿到的是模型自身的坐标，没经过model变换到世界空间。
• 如果你只传入view矩阵，反投影结果是视图空间坐标，和世界空间还差一步inverse(view)的转换。

1. 修复z值异常问题 #

z值为0是因为你没有正确读取鼠标位置对应的深度缓冲值。反投影需要的是当前像素的真实深度（从深度缓冲中读取，范围[0,1]），而非硬编码的0。读取深度值的代码示例：

float depth;
glReadPixels(x, screenHeight - y, 1, 1, GL_DEPTH_COMPONENT, GL_FLOAT, &depth);

（注意窗口坐标系y轴向下，OpenGL读取时需要翻转y值）

2. 获取真实世界空间坐标的两种正确方式 #

方式一：基于glm::unProject调整

先通过view * model作为modelview参数获取本地坐标，再用model矩阵转换为世界坐标：

// 从屏幕坐标+深度值反投影得到本地空间坐标
glm::vec3 localPos = glm::unProject(
    glm::vec3(x, y, depth),
    view * model,  // modelview是本地→视图的变换
    proj,
    glm::vec4(0, 0, screenWidth, screenHeight)
);
// 本地坐标转世界坐标
glm::vec3 worldPos = glm::vec3(model * glm::vec4(localPos, 1.0f));

方式二：手动逆MVP矩阵计算

直接构造完整的MVP逆矩阵，跳过glm::unProject的封装：

// 计算NDC坐标（屏幕坐标转标准化设备坐标）
float x_ndc = (2.0f * x) / screenWidth - 1.0f;
float y_ndc = 1.0f - (2.0f * y) / screenHeight; // 翻转y轴适配NDC
float z_ndc = 2.0f * depth - 1.0f;

// 构造MVP矩阵与逆矩阵（列主序，乘法顺序为proj * view * model）
glm::mat4 mvp = proj * view * model;
glm::mat4 invMVP = glm::inverse(mvp);

// NDC齐次坐标转世界坐标
glm::vec4 worldPosH = invMVP * glm::vec4(x_ndc, y_ndc, z_ndc, 1.0f);
glm::vec3 worldPos = worldPosH / worldPosH.w; // 透视除法

3. 「对象坐标」的澄清 #

glm::unProject文档中的「对象坐标」就是模型的本地空间坐标——即模型自身顶点定义的坐标，不受model矩阵的平移、旋转、缩放影响。之前你拿到的就是这种坐标，所以model平移后结果不变，只要把本地坐标通过model矩阵转换，就能得到世界空间的真实坐标。

内容的提问来源于stack exchange，提问作者fghoussen