3D人脸网格分段及各分段顶点与地标点提取方法咨询

问题描述 #

我已获取3D人脸网格和对应地标点，相关资源可从公开代码仓库获取，目前已实现的可视化代码如下：

library(Rvcg)
library(rgl)
library(Morpho) #read.fcsv

mymesh <- vcgPlyRead("C:\\Users\\Patrick Wen\\Desktop\\mymesh.ply")
shade3d(mymesh, col="lightgrey", specular = "#202020", alpha = 0.7)

mylm <- read.fcsv("C:\\Users\\Patrick Wen\\Desktop\\mylm.fcsv")

plot3d(mylm, type = "s", col = "red", xlab = "x", ylab = "y", zlab = "z", 
       size = 0.4, aspect = FALSE, alpha = 0.8, add=T)

我需要将人脸分割为若干互不重叠且覆盖全脸的区域，分割效果参考下图，最终要提取每个模块对应的网格顶点以及属于各模块的红色地标点。

由于部分区域边界为曲线而非直线，无法通过筛选x、y坐标处于特定范围的点的方式提取顶点和地标点。我不确定该需求是否可在R语言中实现，也想了解有没有其他可实现该功能的软件推荐？

解决方案 #

R语言实现方法 #

你可以结合已有工具包完成该需求，核心逻辑是用种子点匹配+距离分配实现不规则区域分割：

1. 预先为每个要分割的区域标注1~2个核心种子点，确保种子点落在对应区域的网格表面，给每个种子点绑定所属区域ID
2. 调用Rvcg包的vcgClost函数计算所有网格顶点到所有种子点的最短曲面距离，把每个顶点分配到距离最近的种子点对应的区域
3. 地标点的归属判断逻辑和顶点完全一致，计算每个地标点到各区域种子点的距离即可完成分类
4. 如果对边界平滑度要求高，可以额外调用vcgSmooth对边界顶点的分类结果做平滑处理
   示例代码片段如下：

# 提前构造种子点数据框，前三列是坐标，第四列region_id是所属区域编号
seeds <- data.frame(
  x = c(...), y = c(...), z = c(...),
  region_id = c(1,2,3,4,5) # 对应你要分割的区域数量
)
# 给所有网格顶点分配区域
vertex_match <- vcgClost(mymesh, seeds[,1:3])
mymesh$vertex_region <- seeds$region_id[vertex_match$index]
# 给所有地标点分配区域
lm_match <- vcgClost(mylm, seeds[,1:3])
mylm$region <- seeds$region_id[lm_match$index]

其他可选工具推荐 #

• MeshLab：开源轻量网格处理软件，内置曲面分割、自定义区域选择功能，支持手动绘制曲线边界完成精确分割，导出的顶点标签可直接导入R做后续分析
• 3D Slicer：专业医学影像处理工具，针对3D网格、点云的标注和分割功能成熟，支持批量处理多组人脸网格数据
• Blender：通用3D建模工具，可通过笔刷圈选、顶点色绘制的方式完成自定义区域分割，适合边界极不规则、需要手动精细调整的场景

内容的提问来源于stack exchange，提问作者Patrick