OpenGL屏幕空间拖拽物体后出现变形的问题排查

你的问题出在直接对projection * view的逆变换应用完整的屏幕平移变换——透视投影矩阵的特性决定了它的逆变换会引入缩放、剪切等非平移分量，这些分量会让物体在变换后产生变形；而正交投影没有深度相关的缩放，所以逆变换后只有纯平移，不会出问题。

为什么透视投影下这么做会出错？ #

透视投影的核心是近大远小：它会根据物体到相机的深度（z值）对x/y坐标进行缩放，离相机越远的物体，缩放比例越小。当你把屏幕空间的平移（vec3(x, y, 0)）通过inverse(projection * view)转换到世界空间时，这个变换矩阵不只是单纯的平移，还会带上透视带来的深度相关缩放和剪切。你调试时看到的变换矩阵第四行前三列之外的非零元素，就是这些额外分量，它们会导致物体在旋转视角后出现拉伸、扭曲。

临时解决方法的局限性 #

你提取变换矩阵的平移分量（第四列前三行）的做法，相当于丢弃了那些非平移的变形分量，所以物体不会再变形，但这个平移量是不准确的：透视下，不同深度的物体需要的平移量是不一样的——如果物体移动到离相机更远/更近的位置，这个平移量就无法让物体精准跟随鼠标偏移。

正确的解决思路：直接计算世界空间纯平移向量 #

我们需要把鼠标的屏幕偏移，转换成世界空间中让物体精准跟随鼠标的纯平移向量，而不是通过逆变换整个投影视图矩阵来生成变换。具体步骤如下：

1. 确定物体到相机的深度：计算物体沿相机视线方向的距离（比如用相机位置和物体世界位置的向量，点乘相机的前向向量）。
2. 计算屏幕偏移对应的世界空间平移量：根据相机的FOV、屏幕宽高，结合物体深度，把鼠标的像素偏移转换成世界空间的平移值。
3. 用相机的右/上向量构建平移矩阵：确保平移方向和相机视角一致，切换视角后也能正确跟随。

修正后的代码示例 #

glm::mat4 CalculateDragTransform(double xOffset, double yOffset, const glm::vec3& objectWorldPos) {
    // 1. 计算物体到相机的沿视线距离（正数表示在相机前方）
    glm::vec3 cameraPos = m_camera->GetPosition();
    glm::vec3 cameraForward = m_camera->GetForwardVector();
    float objectDepth = glm::dot(cameraPos - objectWorldPos, cameraForward);

    // 2. 计算相机空间下的屏幕缩放比例
    float fovRad = glm::radians(m_camera->GetFOV());
    float aspectRatio = static_cast<float>(m_width) / static_cast<float>(m_height);
    // 相机空间中，屏幕水平方向的半长度 = tan(FOV/2) * 深度 * 宽高比
    float halfScreenWidth = glm::tan(fovRad / 2.0f) * objectDepth * aspectRatio;
    float halfScreenHeight = glm::tan(fovRad / 2.0f) * objectDepth;

    // 3. 把鼠标偏移转换成世界空间平移量
    // 注意：屏幕y轴通常和OpenGL的y轴方向相反，所以这里加负号
    float worldX = (xOffset / m_width) * 2.0f * halfScreenWidth;
    float worldY = (-yOffset / m_height) * 2.0f * halfScreenHeight;

    // 4. 用相机的右/上向量构建世界空间平移方向
    glm::vec3 cameraRight = m_camera->GetRightVector();
    glm::vec3 cameraUp = m_camera->GetUpVector();
    glm::vec3 translation = cameraRight * worldX + cameraUp * worldY;

    // 5. 返回纯平移矩阵
    return glm::translate(glm::mat4(1.0f), translation);
}

// 使用时传入物体的世界位置
auto transform = CalculateDragTransform(xOffset, yOffset, m_objects[index]->GetWorldPosition());
m_objects[index]->SetModelMatrix(transform * m_objects[index]->GetModelMatrix());

关键说明 #

• 这里的GetWorldPosition()需要从物体的模型矩阵中提取（比如glm::vec3(modelMatrix[3])）。
• 这种方法直接生成纯平移矩阵，不会引入任何变形分量，无论是正交还是透视投影，切换视角后都能让物体精准跟随鼠标。

内容的提问来源于stack exchange，提问作者xubury