关于Mediapipe的.pbtxt编译及Web自定义Pipeline的技术问询

问题1：Viz平台在线编译.pbtxt的实现、文档及.pbtxt转.binarypb流程 #

Viz平台在线编译的实现逻辑 #

Viz.mediapipe.dev的在线编译完全在浏览器端完成，核心是将Protobuf的文本解析与二进制序列化逻辑通过WebAssembly（Wasm）封装后在客户端运行：

• Mediapipe的计算图配置（CalculatorGraphConfig）基于Protobuf定义，Viz平台加载了对应Protobuf解析器的Wasm模块；
• 用户输入的.pbtxt文本会被该Wasm模块解析为符合CalculatorGraphConfig结构的Protobuf消息对象；
• 最后将消息对象序列化为二进制字节流，生成.binarypb格式的内容，全程无需后端服务器参与编译。

相关文档 #

官方没有专门针对Viz平台编译逻辑的独立文档，但可以参考以下核心资源：

• Mediapipe仓库中mediapipe/framework/calculator.proto文件：这是CalculatorGraphConfig的Protobuf schema定义，是所有.pbtxt解析与编译的核心依据；
• Mediapipe官方的Protobuf使用指南：涵盖Protobuf文本与二进制格式转换的通用逻辑。

.pbtxt编译为.binarypb的具体流程 #

本质是Protobuf文本格式到二进制格式的转换，无论在线还是本地，流程一致：

1. 加载Schema：获取CalculatorGraphConfig对应的Protobuf定义（即calculator.proto文件）；
2. 解析文本：将.pbtxt中的明文配置解析为符合Schema结构的Protobuf消息实例；
3. 序列化二进制：将消息实例序列化为二进制字节流，保存为.binarypb文件。

本地编译可使用protoc命令行工具，示例命令：

protoc --encode=mediapipe.CalculatorGraphConfig mediapipe/framework/calculator.proto < input.pbtxt > output.binarypb

问题2：自定义.pbtxt管道编译为Web所需.wasm与.data文件的步骤 #

前置条件 #

确保自定义管道中用到的所有Calculator（包括depth-to-iris）都有Web兼容的Wasm实现——Viz平台存在该功能演示，说明其对应的Calculator已被编译为Wasm，可直接复用。

具体步骤 #

1. 编写自定义.pbtxt：

   • 整合face-mesh与depth-to-iris的节点，确保输入输出流的格式、名称匹配（比如face-mesh输出的面部关键点需对应depth-to-iris的输入端口）；
   • 调整节点参数（如模型路径、推理阈值等），避免Viz演示中的异常问题。

2. 搭建Web编译环境：

   • 安装Emscripten工具链（Wasm编译依赖）；
   • 克隆Mediapipe仓库，按照官方Web编译指南配置bazel与相关依赖。

3. 配置BUILD文件：

   • 在Mediapipe项目中创建新的编译目标，使用mediapipe_web_binary规则；
   • 指定你的.pbtxt文件、依赖的Calculator库（如face-mesh、depth-to-iris的Calculator）、以及所需的模型权重文件；
   • 确保模型文件被正确打包到.data资源文件中。

4. 编译生成Web资源：
   运行bazel编译命令（示例）：

   bazel build -c opt --config=wasm //your/project/path:custom_face_iris_pipeline
   

   编译完成后，在bazel输出目录会生成：

   • .wasm文件：包含计算图的Wasm执行逻辑；
   • .data文件：包含模型权重、配置等静态资源。

5. 部署与测试：

   • 参考Mediapipe Web示例的JavaScript代码，使用Mediapipe JS API加载生成的.wasm与.data文件，创建Graph实例并运行；
   • 将所有文件部署到静态Web服务器，即可测试集成face-mesh与depth-to-iris的POC。

内容的提问来源于stack exchange，提问作者Alexander Nestorov