OpenGL启用Early Fragment Tests时如何剔除含NaN坐标的三角形

针对启用early_fragment_tests后，原片元Shaderdiscard方案无法阻止无效片段写入深度缓冲的问题，以下是几种性能损耗低、在顶点/几何阶段处理的剔除方案：

方案一：利用硬件裁剪距离（Clip Distance） #

这是性能最优的方案，依赖OpenGL原生的裁剪平面功能，直接在顶点阶段标记无效三角形，由硬件完全裁剪，不会进入后续管线。

实现步骤： #

1. 顶点着色器中声明裁剪距离输出：

   #version 450 core
   layout (location = 0) out float clipDistance;
   
   void main() {
       gl_Position = /* 你的顶点变换逻辑 */;
   
       // 检测当前顶点是否包含NaN
       bool hasNaN = isnan(gl_Position.x) || isnan(gl_Position.y) ||
                     isnan(gl_Position.z) || isnan(gl_Position.w);
       // 有效顶点设为正，无效设为负
       clipDistance = hasNaN ? -1.0 : 1.0;
   }
   

2. 应用层启用裁剪平面：

   glEnable(GL_CLIP_DISTANCE0);
   

核心逻辑： #

只要三角形的任意顶点被标记为无效（clipDistance < 0），整个三角形会被硬件视锥体裁剪阶段完全剔除，不会生成任何片段，自然不会写入深度缓冲或图像缓冲区。

优点： #

• 硬件原生支持，性能损耗可以忽略不计
• 不影响正常三角形的深度缓冲和渲染流程

方案二：将无效顶点移至视锥体外部 #

如果不想启用裁剪距离，可以直接修改无效顶点的gl_Position，让整个三角形超出视锥体范围，被硬件自动裁剪。

顶点着色器实现： #

#version 450 core

void main() {
    gl_Position = /* 你的顶点变换逻辑 */;

    bool hasNaN = isnan(gl_Position.x) || isnan(gl_Position.y) ||
                  isnan(gl_Position.z) || isnan(gl_Position.w);
    if (hasNaN) {
        // 将顶点移至无穷远（w=0时，NDC坐标为无穷大，必然被裁剪）
        gl_Position = vec4(0.0, 0.0, 0.0, 0.0);
        // 也可以使用远超视锥体的坐标，比如vec4(1e6, 1e6, 1e6, 1.0)
    }
}

优点： #

• 无需额外API调用，代码改动极小
• 同样依赖硬件视锥体裁剪，性能开销低

注意： #

确保修改后的位置完全在视锥体之外，避免因浮点精度问题导致部分片段被意外保留。

方案三：几何着色器中直接剔除三角形 #

如果你的渲染管线允许使用几何着色器，可以在几何阶段直接检测整个三角形的顶点，决定是否输出图元。

几何着色器实现： #

#version 450 core
layout(triangles) in;
layout(triangle_strip, max_vertices = 3) out;

void main() {
    bool triangleHasNaN = false;
    // 遍历三个顶点检测NaN
    for (int i = 0; i < 3; i++) {
        vec4 pos = gl_in[i].gl_Position;
        if (isnan(pos.x) || isnan(pos.y) || isnan(pos.z) || isnan(pos.w)) {
            triangleHasNaN = true;
            break;
        }
    }

    // 仅当三角形所有顶点有效时，输出图元
    if (!triangleHasNaN) {
        for (int i = 0; i < 3; i++) {
            gl_Position = gl_in[i].gl_Position;
            EmitVertex();
        }
        EndPrimitive();
    }
}

优点： #

• 可以精确控制整个三角形的剔除逻辑，不受顶点级裁剪的限制
• 适合需要在几何阶段做额外处理的场景

缺点： #

• 几何着色器会带来一定的性能开销，大规模渲染场景下不如前两种方案高效

推荐优先级 #

优先选择方案一（裁剪距离），因为它是硬件原生支持的最优解，性能损耗最低；如果使用旧版本OpenGL不支持裁剪距离，选择方案二；方案三仅作为备选，在需要几何阶段额外处理时使用。

内容的提问来源于stack exchange，提问作者tmlen