如何在PyTorch3D中渲染无纹理网格？解决空白图及索引错误

问题根源分析 #

1. Shader选择错误：你用的SoftSilhouetteShader是专门渲染轮廓的，输出的alpha通道是轮廓信息，前3通道默认是白色，所以得到空白图。
2. 相机参数不匹配：原代码用了默认相机参数，和你pyrender里设置的相机位置、视场角完全不同，导致网格不在相机视野内。
3. 缺少光照配置：PyTorch3D的实体渲染Shader需要光照参数，否则无法正确着色。

修正后的代码 #

import torch
import numpy as np
from pytorch3d.structures import Meshes
from pytorch3d.renderer import (
    FoVPerspectiveCameras,
    MeshRenderer,
    MeshRasterizer,
    RasterizationSettings,
    HardPhongShader,
    PointLights,
    look_at_view_transform
)

def render_mesh(vertices, faces):
    device = vertices.device
    
    # 匹配pyrender的相机参数
    R, T = look_at_view_transform(
        dist=0.3,
        elev=0.0,
        azim=0.0,
        device=device
    )
    # 调整Y轴偏移匹配pyrender的相机姿态
    T[0, 1] = -0.02
    cameras = FoVPerspectiveCameras(
        device=device,
        R=R,
        T=T,
        fov=60.0  # 对应pyrender的yfov=np.pi/3（转成角度为60°）
    )
    
    # 光栅化设置
    rasterizer = MeshRasterizer(
        cameras=cameras,
        raster_settings=RasterizationSettings(
            image_size=400,  # 和pyrender渲染尺寸一致
            blur_radius=0.0,
            faces_per_pixel=1,
        )
    )
    
    # 设置光照，匹配pyrender的SpotLight参数
    lights = PointLights(
        device=device,
        location=[[0.0, -0.02, 0.3]],  # 和相机位置一致
        ambient_color=[[1.0, 1.0, 1.0]],
        diffuse_color=[[1.0, 1.0, 1.0]],
        specular_color=[[1.0, 1.0, 1.0]],
        intensity=0.5
    )
    
    # 使用实体渲染的Shader
    renderer = MeshRenderer(
        rasterizer=rasterizer,
        shader=HardPhongShader(
            device=device,
            cameras=cameras,
            lights=lights
        )
    )
    
    mesh = Meshes(verts=[vertices], faces=[faces])
    # 转换输出格式为0-255的uint8
    image = renderer(mesh).squeeze()
    rgb_image = (image[..., :3] * 255).byte().cpu().numpy()
    
    return rgb_image

关键修正点说明 #

• Shader替换：用HardPhongShader替代SoftSilhouetteShader，这是PyTorch3D中用于实体网格渲染的基础Shader，支持光照计算。
• 相机对齐：通过look_at_view_transform生成和pyrender一致的相机位姿，调整T参数匹配pyrender里的相机Y轴偏移，同时设置正确的视场角。
• 光照配置：添加PointLights，位置和相机一致，强度和pyrender的SpotLight匹配，确保网格能被照亮。
• 颜色格式转换：PyTorch3D的渲染输出是0-1的浮点数，需要转成0-255的uint8格式才能和pyrender的输出一致。

关于虚拟纹理错误的补充 #

你之前遇到的IndexError是因为纹理张量的维度不匹配：PyTorch3D的纹理需要是(num_meshes, num_faces, 3)的形状，如果你要给无纹理网格加默认颜色，可以这样做：

# 给每个面设置白色
textures = torch.ones_like(faces).float().to(device) / 255.0
mesh = Meshes(verts=[vertices], faces=[faces], textures=textures)

不过用上面修正后的代码，不需要额外添加纹理，Shader会用默认的材质颜色渲染。

内容的提问来源于stack exchange，提问作者Bojack