OpenGL实现鼠标拖拽移动物体时物体与鼠标移动速度不同步

核心问题是你全程在混用坐标空间，没有把屏幕坐标正确转换到世界空间就直接计算平移量，所有计算的坐标单位和模型矩阵使用的世界坐标单位不统一，必然出现速度不匹配。

现有实现的具体错误点 #

• 你计算的xPercent、yPercent是范围在[-1, 1]的归一化设备坐标（NDC），不是3D场景里的世界坐标，数值尺度和世界空间完全不一致
• glReadPixels读取到的zPercent是深度缓冲存储的非线性深度值，范围在[0,1]，对应近远裁剪面的映射值，不是世界空间下的z轴坐标，直接固定这个值作为世界z没有实际物理意义
• 直接用NDC坐标的差值作为模型矩阵的平移量，相当于把[-1,1]范围的坐标差直接当成世界空间的位移，和鼠标实际移动对应的场景位移完全不对等

正确实现逻辑 #

拖拽功能的核心是：拾取到物体后，让物体始终在拾取点对应的、和相机朝向垂直的固定平面上移动，全程保持物体和相机的距离和拾取时一致，通过反向投影把屏幕鼠标坐标还原到这个平面上的世界坐标，再计算平移量。

第一步：拾取时记录初始值 #

鼠标按下拾取到物体的第一帧，做这几个操作：

1. 按你现有逻辑读取鼠标屏幕坐标、对应点的深度值
2. 把深度值从[0,1]的深度缓冲范围转换到NDC的[-1,1]范围：

   float ndc_z = zPercent * 2.0f - 1.0f;
   

3. 结合你已经算出的NDC xy值，通过逆矩阵变换反算当前点的世界坐标：

   // 构建NDC齐次坐标
   glm::vec4 clip_coord(xPercent, yPercent, ndc_z, 1.0f);
   // 反算到视空间
   glm::vec4 view_coord = glm::inverse(proj_matrix) * clip_coord;
   view_coord /= view_coord.w; // 透视除法还原线性视坐标
   // 反算到世界空间
   glm::vec3 pick_world_pos = glm::vec3(glm::inverse(view_matrix) * view_coord);
   

4. 记录两个初始值，不要每帧在上一帧的model矩阵上累加平移，避免累计误差：

   last_world_pos = pick_world_pos;
   drag_start_model = model;
   

第二步：拖拽过程中实时计算位移 #

拖拽时保持第一次读取到的zPercent（也就是拾取点的深度）不变，每帧获取当前鼠标的NDC xy值，用和上面完全一致的逆变换逻辑算出当前鼠标对应的世界坐标current_world_pos，再更新模型矩阵：

glm::vec3 delta = current_world_pos - last_world_pos;
// 基于拖拽开始时的模型矩阵加位移，避免累计误差
model = glm::translate(drag_start_model, delta);

注意事项 #

• 你现有代码里glReadPixels的y坐标计算逻辑（scr_height_ - ypos -1）是正确的，GLFW鼠标坐标以窗口左上角为原点，深度缓冲坐标以左下角为原点，这个转换不需要改
• 不管是正交相机还是透视相机，这套逻辑都能保证物体移动速度和鼠标视觉移动速度完全一致，不会出现拖拽跟手不准的问题
• 不要每帧重新读取物体位置的深度值，否则会出现物体拖拽时前后跳、抖动的问题，固定用第一次拾取到的深度值即可

内容的提问来源于stack exchange，提问作者yan