MediaPipe提取3D人脸姿态时，面部变换矩阵与标准人脸模型解析

1. 标准人脸模型是什么？如何获取？ #

• MediaPipe FaceLandmarker使用的是MediaPipe Face Mesh内置的标准3D人脸拓扑模型，这个模型包含固定拓扑的468个3D关键点，默认处于中立无表情的姿态（平视、面部肌肉放松），是基于BlendShape表情驱动体系设计的。
• 官方没有直接提供这个模型的原始文件，但你可以通过以下方式获取其基准形态：当检测一个处于完全中立姿态的人脸时，提取FaceLandmarker输出的未应用变换矩阵的原始3D关键点（或直接取模型初始化时的默认关键点坐标），这些坐标就是标准模型的基准形态。

2. 转换流程具体是怎样的？能否可视化原始模型？ #

转换流程 #

FaceLandmarker的变换矩阵是刚性变换矩阵（包含旋转、平移分量），配合表情BlendShape权重完成转换，步骤如下：

1. 标准模型的基准关键点处于自身的局部坐标系（比如原点在面部中心，朝向正前方）。
2. 模型通过图像检测，计算出当前人脸相对于标准模型的旋转角度、平移位置，生成对应的变换矩阵。
3. 先对标准模型的基准关键点应用表情BlendShape的变形（生成带表情的标准人脸形态），再用变换矩阵将这个变形后的关键点从模型局部坐标系转换到相机/世界坐标系，最终匹配图像中人脸的实际位置和3D姿态。

可视化原始模型 #

• 2D可视化：可以用OpenCV或Matplotlib，把标准模型的468个3D基准关键点通过正交投影转换为2D坐标，再按照MediaPipe Face Mesh的预设连线拓扑绘制点和面部轮廓。
• 3D可视化：用Plotly、Mayavi或PyVista这类3D库，直接加载标准模型的3D关键点坐标，绘制完整的3D面部点云结构，就能直观看到原始模型的形态。

3. 不乘以变换矩阵，是否仅能得到带表情的标准人脸，而非原图像中的实际姿态？ #

没错。不应用变换矩阵的话，得到的关键点仍然处于标准模型的局部坐标系中：

• 虽然会包含表情变形（由BlendShape权重驱动），但没有旋转、平移的对齐，所以这个形态的人脸既不在图像对应的相机坐标系里，也没有匹配原图像中人脸的朝向、位置，完全是“悬浮”在模型自身坐标系里的带表情标准脸，无法对应到输入图像人脸的实际3D姿态。

内容的提问来源于stack exchange，提问作者skidjoe