在Detectron2中能否同时运行人体姿态估计与多类别目标检测?
Detectron2多任务支持解答
可以同时运行人体姿态估计和多类别目标检测任务,具体说明如下:
- 官方内置了关键点检测+目标检测联合的模型架构,对应
COCO-Keypoints/keypoint_rcnn_*系列预训练权重,这类模型单次推理就能同时输出所有检测物体的边界框、类别信息,以及人体目标对应的17个姿态关键点坐标。 - 如果需要识别汽车、动物等自定义的目标类别,只需要准备同时标注了物体检测框、类别、人体关键点的数据集,微调上述联合架构即可,不需要搭建两个独立模型分别训练推理。
- 联合模型的推理开销只比单独跑目标检测多了人体关键点分支的少量计算量,性能损耗很小。如果是已有单独训练好的两个独立模型,也可以自定义Detectron2的推理流水线串接两个模型的前向过程,只是这种方案计算量会更高。
内容的提问来源于stack exchange,提问作者Dark Apostle
相关产品推荐
相关产品推荐

