几何着色器中计算TBN矩阵：dFdx/dFdy报错的替代方法

我尝试在Geometry Shader中用dFdx和dFdy计算切线与副切线，但一直报错：No matching overloaded function found: dFdx（dFdy同理）。想请教有没有不用这两个函数计算TBN矩阵的方法？

编辑1：看起来几何着色器里没法用dFdx和dFdy，我补充了手动计算的思路代码：

#version 330 core
 layout(triangles) in ;
 layout(triangle_strip, max_vertices = 3) out ;

 in vec3 fragPos[] ;
 in vec2 uv[] ;

 out vec3 tessNorm ;
 out vec2 uvGeo ;
 out vec3 gWorldPos_FS_in ;
 out mat3 gTBN ;

 vec3 px[3];
 vec3 py[3];
 vec2 uvx[3];
 vec2 uvy[3];
 vec3 T[3];
 vec3 B[3];
 mat3 TBN[3];

 void main()
 {
    for(int i = 0 ; i < 3; i++)
    { 
     gl_Position = gl_in[i].gl_Position ;
     gWorldPos_FS_in = fragPos[i] ;
     uvGeo = uv[i];
     tessNorm = tessNormals[i];
        
     px[i] = vec3(dFdx(fragPos[i]), 0.0 , 0.0);
     py[i] = vec3(0.0, dFdy(fragPos[i]), 0.0);
     uvx[i] = vec2(dFdx(uv[i]), 0.0);
     uvy[i] = vec2(0.0, dFdy(uv[i]));
     T[i] = normalize(px[i] * uvy[i].y - py[i] * uvx[i].y);
     B[i] = normalize(-px[i] * uvy[i].x + py[i] * uvx[i].x);
     TBN[i] = mat3(T[i], B[i], tessNormals[i]);
     gTBN = TBN[i];
     EmitVertex() ;
    }
     EndPrimitive() ;
 }

vec3 getTangent()
{
   vec3 edge1 = vec3(gl_in[1].gl_Position) - vec3(gl_in[0].gl_Position);
   vec3 edge2 = vec3(gl_in[2].gl_Position) - vec3(gl_in[0].gl_Position);
   vec2 deltaUV1 = uv[1] - uv[0];
   vec2 deltaUV2 = uv[2] - uv[0];

   float f = 1.0 / (deltaUV1.x * deltaUV2.y - deltaUV2.x * deltaUV1.y);

   vec3 tangent;
   tangent.x = f * (deltaUV2.y * edge1.x - deltaUV1.y * edge2.x);
   tangent.y = f * (deltaUV2.y * edge1.y - deltaUV1.y * edge2.y);
   tangent.z = f * (deltaUV2.y * edge1.z - deltaUV1.y * edge2.z);

   return normalize(tangent);
}

vec3 getBitangent()
{
   vec3 edge1 = vec3(gl_in[1].gl_Position) - vec3(gl_in[0].gl_Position);
   vec3 edge2 = vec3(gl_in[2].gl_Position) - vec3(gl_in[0].gl_Position);
   vec2 deltaUV1 = uv[1] - uv[0];
   vec2 deltaUV2 = uv[2] - uv[0];

   float f = 1.0 / (deltaUV1.x * deltaUV2.y - deltaUV2.x * deltaUV1.y);

   vec3 bitangent;
   bitangent.x = f * (-deltaUV2.x * edge1.x + deltaUV1.x * edge2.x);
   bitangent.y = f * (-deltaUV2.x * edge1.y + deltaUV1.x * edge2.y);
   bitangent.z = f * (-deltaUV2.x * edge1.z + deltaUV1.x * edge2.z);

   return normalize(bitangent);
}

mat3 getTBN()
{
     vec3 T = normalize(gTangents);
     vec3 N = normalize(gNormals);
     vec3 B = normalize(gBitangents);
     mat3 TBN = mat3(T, B, N);
     return TBN;
}

问题根源 #

dFdx/dFdy是片元着色器专属的导数函数，用于计算屏幕空间中相邻像素的数值变化量。几何着色器没有像素级的渲染上下文，因此无法调用这类函数，报错是必然的。

可行解决方案：基于三角形边的手动TBN计算 #

你已经写出了核心的切线/副切线计算逻辑，这里给你优化并整合到几何着色器的执行流程中，确保功能正常且鲁棒性更强：

优化后的完整代码 #

#version 330 core
layout(triangles) in;
layout(triangle_strip, max_vertices = 3) out;

// 输入变量：从顶点/ tessellation着色器传递过来
in vec3 fragPos[];
in vec2 uv[];
in vec3 tessNormals[];

// 输出变量：传递给片元着色器
out vec3 tessNorm;
out vec2 uvGeo;
out vec3 gWorldPos_FS_in;
out mat3 gTBN;

// 计算当前三角形的切线与副切线，确保TBN正交且右手系
void calcTriangleTBN(out vec3 tangent, out vec3 bitangent, vec3 normal) {
    vec3 edge1 = fragPos[1] - fragPos[0];
    vec3 edge2 = fragPos[2] - fragPos[0];
    vec2 deltaUV1 = uv[1] - uv[0];
    vec2 deltaUV2 = uv[2] - uv[0];

    float det = deltaUV1.x * deltaUV2.y - deltaUV2.x * deltaUV1.y;
    // 处理UV退化（行列式接近0）的情况，避免除零错误
    if(abs(det) < 1e-6) {
        // fallback：使用默认切线（沿世界空间X轴），并推导副切线
        tangent = normalize(vec3(1.0, 0.0, 0.0));
        tangent = normalize(tangent - dot(tangent, normal) * normal);
        bitangent = normalize(cross(normal, tangent));
        return;
    }

    float invDet = 1.0 / det;
    // 计算原始切线与副切线
    tangent = normalize(invDet * (deltaUV2.y * edge1 - deltaUV1.y * edge2));
    bitangent = normalize(invDet * (-deltaUV2.x * edge1 + deltaUV1.x * edge2));
    
    // 修正切线与法线的正交性
    tangent = normalize(tangent - dot(tangent, normal) * normal);
    // 确保TBN为右手坐标系，避免法线贴图采样反转
    if(dot(cross(normal, tangent), bitangent) < 0.0) {
        tangent *= -1.0;
    }
}

void main() {
    // 先为当前三角形计算统一的TBN矩阵（三角形级别计算更高效）
    vec3 T, B, N;
    // 取第一个顶点的法线，或对三个顶点法线取平均，根据需求调整
    N = normalize(tessNormals[0]);
    calcTriangleTBN(T, B, N);
    mat3 TBN = mat3(T, B, N);

    // 遍历三个顶点，传递所有输出变量
    for(int i = 0; i < 3; i++) {
        gl_Position = gl_in[i].gl_Position;
        gWorldPos_FS_in = fragPos[i];
        uvGeo = uv[i];
        tessNorm = tessNormals[i];
        gTBN = TBN; // 若需要逐顶点插值的TBN，可在这里基于顶点数据重新计算
        EmitVertex();
    }
    EndPrimitive();
}

核心说明 #

1. 三角形级计算：几何着色器处理的是完整三角形，因此只需计算一次TBN即可传递给三个顶点，相比逐顶点计算更高效
2. 鲁棒性处理：增加了UV退化的 fallback 逻辑，避免因三角形UV共线导致的除零崩溃
3. 正交性修正：确保切线与法线严格正交，保证TBN矩阵的正交性，避免法线贴图采样出错
4. 手性修正：保证TBN为右手坐标系，解决部分模型法线贴图反转的问题

内容的提问来源于stack exchange，提问作者user21536355