从零实现NeRF：(106,4,4)格式相机位姿数据含义解析

先明确两个核心坐标系 #

• 世界坐标系：整个3D场景的全局参考框架，推土机的3D模型、所有相机的位置/朝向都以它为基准。
• 相机坐标系：以相机自身为中心的局部坐标系，规则是：
  • Z轴沿相机光轴指向拍摄方向（也就是相机“看出去”的方向）
  • X轴从相机视角看向右方
  • Y轴从相机视角看向上方
  • 原点在相机的光学中心（镜头位置）

拆解4x4位姿矩阵的结构 #

齐次坐标下的刚体变换矩阵固定是这个结构：

[ R  t ]
[ 0  1 ]

• R是3×3旋转矩阵：负责将相机坐标系的轴对齐到世界坐标系的轴方向，说白了就是描述相机的朝向（歪头、转头、俯仰的角度）。
• t是3×1平移向量：代表相机坐标系的原点（镜头中心）在世界坐标系中的具体位置。
• 最后一行[0 0 0 1]是齐次坐标的标准格式，用来保证变换在齐次坐标下的一致性。

在NeRF场景中的实际意义 #

这个矩阵的作用就是把相机坐标系里的3D点，转换到世界坐标系中，举两个直观例子：

1. 相机坐标系的原点（镜头中心）经过这个矩阵变换后，得到的就是镜头在世界中的位置——也就是t向量对应的坐标。
2. 相机坐标系Z轴上的点(0,0,1)（镜头前方1单位处），经过R旋转后会指向相机实际拍摄的方向，再加上t就得到这个点在世界中的位置。

对NeRF来说，这个矩阵是核心基础：训练时需要知道每个相机在世界中的位置和朝向，才能从相机出发发射光线，去查询世界中每个3D点的颜色和密度，最终合成图像；推理时要生成新视角图像，也得先定义新相机的位姿矩阵，再用同样的流程渲染。

结合推土机数据集的具体情况 #

数据集中的106个4x4矩阵，每个对应一张训练图：

• 旋转矩阵R对应拍摄这张图时相机的朝向（比如是正对推土机正面，还是从侧上方拍摄）
• 平移向量t对应拍摄时相机在世界中的位置（比如离推土机的距离、左右前后的位置）

内容的提问来源于stack exchange，提问作者Timothy Oh