OpenGL 3D空间鼠标位置异常：拾取射线球体策略下Z平面立方体移动光标位置不匹配问题排查

嘿，我之前做OpenGL拖拽交互的时候也踩过类似的坑，针对你遇到的两个核心问题——光标位置和顶点不匹配、无法在Z平面移动立方体，给你梳理下问题根源和解决办法：

1. 先修正代码里的明显笔误 #

你当前的glm.unProject调用有个低级错误，这大概率是光标位置错位的直接原因：

vec3 res = glm.unProject(new vec3(mouse.Y, mouse.Y, 0), ModelViewMtx, ProjectionMtx, ViewPortVec);

这里把mouse.X重复写成了mouse.Y，导致X轴方向的坐标计算完全错误，先改成正确的参数：

vec3 res = glm.unProject(vec3(mouse.X, mouse.Y, depthValue), ModelViewMtx, ProjectionMtx, ViewPortVec);

2. 解决Z平面无法移动的核心问题 #

你现在给unProject传的Z值是固定的0，这会让计算出来的点永远落在近平面上，自然没法保持在立方体所在的Z平面移动。正确的处理方式是：

• 在第一次拾取到立方体顶点时，记录该顶点的深度值：
  • 要么直接保存该顶点的世界空间Z坐标（既然能拾取到顶点，肯定能拿到这个值）；
  • 要么用glReadPixels在鼠标点击位置读取深度缓冲的数值（范围0~1，对应近平面到远平面）。
• 在拖拽过程中，始终用这个保存的深度值作为unProject的第三个参数，这样计算出来的世界坐标会保持在原来的Z平面上，就能实现Z平面的移动了。

3. 优化拖拽的坐标计算逻辑 #

你现在直接用像素差值dx/dy计算偏移，这种方式在非顶视图（比如透视投影、斜视图）下会有误差——因为像素对应的世界空间距离会随Z轴变化。更可靠的做法是：

1. 拾取时：把初始鼠标坐标转换成世界空间坐标initWorldPos，同时记录立方体的初始位置cubeInitPos；
2. 拖拽时：把当前鼠标坐标转换成世界空间坐标currentWorldPos；
3. 立方体的新位置 = cubeInitPos + (currentWorldPos - initWorldPos)；

这种基于世界空间差值的计算方式，能保证光标和顶点的位置始终匹配，不管视图怎么旋转都能正常工作。

4. 验证视口与矩阵的正确性 #

• 确保ViewPortVec格式正确：vec4(视口左下角X, 视口左下角Y, 视口宽度, 视口高度)，注意OpenGL窗口坐标原点是左下角，而多数系统鼠标坐标原点是右上角，你之前dy取负的处理是对的，但要确认视口Y值和鼠标坐标转换逻辑匹配；
• 调用unProject时，必须使用当前渲染时的ModelViewMtx和ProjectionMtx，如果相机有移动或旋转，要保证这两个矩阵是实时更新的，否则计算出的世界坐标会和实际渲染位置脱节。

调试小技巧 #

可以把每次计算出来的res坐标输出到控制台，观察不同视图下的数值变化：

• 顶视图下，X/Y应该和鼠标移动同步；
• 切换到其他视图后，Z值应该保持和拾取时的初始值一致，X/Y的变化也应该和鼠标拖拽方向对应。

内容的提问来源于stack exchange，提问作者Tostone