Caffe多模型语义分割：概率融合、端到端训练与硬输出咨询

别担心，这些都是刚接触模型集成时很常见的疑问，我来一步步帮你理清楚：

1. 如何获取三个网络的集成输出？ #

有两种常用的方式，看你更偏向哪种场景：

• 离线后处理集成：
  先单独跑每个模型的推理：用Caffe的caffe test命令或者Python接口，分别导出每个模型对输入图像的类别概率图（通常是形状为[batch, num_classes, height, width]的blob）。之后对这三个概率图做融合：
  • 简单平均：把三个概率图对应位置的数值相加后除以3；
  • 加权平均：如果某个模型的验证效果更好，可以给它的概率图分配更高的权重（比如模型A准确率85%，模型B80%，模型C75%，权重可以设为0.4、0.35、0.25）；
  • 投票法：先分别得到每个模型的argmax硬分割结果，再逐像素统计三个结果中出现次数最多的类别。
• 在线集成推理：
  修改你的deploy.prototxt，把三个模型的结构整合到同一个网络里（注意给每个模型的层加独特前缀，比如model1_conv1、model2_conv1，避免命名冲突），然后添加一个融合层：
  • 用Eltwise层设置operation: SUM，再接一个Scale层把结果除以3，实现平均融合；
  • 如果要做投票，可以自定义一个层来实现逐像素的投票逻辑，或者先用三个ArgMax层得到每个模型的硬结果，再用自定义层统计投票。这样跑一次推理就能直接得到集成后的输出。

2. 如何对三个网络的集成进行端到端训练？ #

主要有两种思路可以实现：

• 联合微调：
  构建一个新的train_val.prototxt，把三个子网络的结构都加进去（同样注意层名前缀）。初始化时加载三个预训练模型的权重（可以在net层的weights字段分别指定，或者用CopyParam层来导入每个子网络的预训练参数）。然后定义融合层（比如平均），后面接SoftmaxWithLoss损失层，之后就可以像训练普通Caffe模型一样，用caffe train命令端到端训练整个集成网络。这种方式能让三个子网络在集成任务中互相适配，调整参数以达到更好的整体效果。
• 知识蒸馏式训练：
  先把三个预训练模型的输出平均作为“软标签”，然后训练一个新的模型去拟合这个软标签；或者直接构建多分支网络，总损失设置为三个子网络各自的损失加上融合后输出的损失，让网络同时学习子网络的特征和集成后的结果。

3. 相关参考资源 #

• Caffe官方文档里的Eltwise、CopyParam、ArgMax等层的说明，能帮你快速了解如何构建多分支和融合网络；
• 可以参考语义分割领域的模型融合相关论文，比如FCN、U-Net的集成变体，再对应到Caffe的网络结构实现；
• Caffe社区贡献的语义分割项目里，很多都有多头网络或者模型集成的train_val.prototxt模板，你可以参考这些示例来搭建自己的集成网络；
• Caffe的Python接口教程，能帮你更灵活地导出模型输出、处理概率图和实现后处理逻辑。

4. 如何基于最终软输出概率得到硬分割结果？ #

分两种情况处理：

• 如果是集成后的概率图（比如三个概率平均后的结果）：直接对每个像素做argmax操作，也就是取该像素位置上概率最大的类别作为分割标签。你可以在deploy.prototxt里添加ArgMax层，让Caffe直接输出硬分割结果；也可以用Python接口拿到概率图后，用numpy.argmax(axis=1)（假设概率图形状是[1, num_classes, h, w]）来计算每个像素的类别。
• 如果是用投票法（基于三个模型的argmax结果）：先分别得到每个模型的硬分割图，然后对每个像素统计三个模型预测的类别，选出现次数最多的那个。比如用numpy的scipy.stats.mode函数逐像素计算众数，或者在Caffe里自定义一个层来实现这个投票逻辑。

内容的提问来源于stack exchange，提问作者S.EB