旧版tf/keras加载模型报Unknown layer: Functional及多模型兼容问题问询

问题背景 #

• 现有运行环境：python=3.6.12、tensorflow==1.15.3、keras==2.2.4、mrcnn==2.1，已完成MaskRCNN多目标检测迁移学习，模型可正常运行
• 预期实现：结合笔记本摄像头与OpenCV完成MRCNN实时检测，先通过人脸检测模型裁剪人脸区域后输入MRCNN，提升检测效果，原定选型为res10_300x300_ssd_iter_140000.caffemodel
• 现有冲突：旧版本TensorFlow可正常运行MRCNN，但加载Res10 SSD模型时报错ValueError: Unknown layer: Functional；新版本TensorFlow可运行Res10 SSD，但无法兼容现有MRCNN实现

对应问题解答 #

1. res10_300x300_ssd_iter_140000.caffemodel是否可以在旧版本tensorflow中使用？ #

不能直接通过TensorFlow接口加载使用，你遇到的Functional层报错，是因为该模型的导出环境为TensorFlow 2.x，Functional API是TF2.x才原生内置的层结构，TF1.15及更早版本无对应实现。
最优解：绕过TensorFlow加载，直接用OpenCV的dnn模块加载该模型，OpenCV DNN模块的推理完全不依赖TensorFlow环境，和你本地安装的TF版本完全隔离，只需要调用cv2.dnn.readNetFromCaffe()接口传入对应prototxt和caffemodel路径即可完成加载，推理全程由OpenCV内部实现，完全适配你当前的旧版本TF环境，改造成本极低。

2. 是否有方法将MaskRCNN迁移适配到更高版本的tensorflow？ #

有两种成熟的落地路径：

• 方案1：使用社区适配的TF2.x版本MaskRCNN实现，目前主流的MRCNN开源分支已经完成了TF2.3+版本、Keras2.4+版本的适配，你只需要通过权重转换脚本，将原有训练好的权重适配到新的模型结构下即可，迁移成本主要是调整自定义数据集的配置类代码，原有训练好的特征权重可完全复用
• 方案2：在TF2.x环境下开启TF1.x兼容模式，调用tf.compat.v1.disable_eager_execution()关闭动态图模式，原有MRCNN的代码不需要做大幅修改即可正常运行，适合不想重构原有代码的场景，不过运行效率会比原生TF2实现低10%~20%左右

3. 有没有其他准确率较高、可在OpenCV中使用的人脸检测模型可选？ #

以下模型均支持OpenCV DNN模块直接加载，完全不依赖TensorFlow版本，精度均达到工业可用级别：

• YuNet：OpenCV官方内置的轻量级人脸检测模型，精度比Res10 SSD高10%左右，推理速度快2~3倍，模型大小仅1.7MB，对低算力设备非常友好
• Haar级联分类器：传统CV实现方案，不需要深度学习推理环境，运行速度极快，适合算力有限的设备，复杂场景下误检率略高
• LBP级联分类器：推理速度比Haar更快，内存占用更低，适合高帧率实时检测场景
• MTCNN：多阶段人脸检测模型，精度高，同时支持人脸关键点检测，OpenCV DNN有对应实现版本，适合对精度要求高的场景

4. 是否有可兼容res10的非mrcnn类目标检测模型？ #

有大量和Res10 SSD同生态的目标检测模型可选，均可完美兼容TF2.x版本：

• SSD系列变体：比如SSD-MobileNet系列，推理速度更快，适合实时检测场景，和Res10 SSD的训练、推理逻辑完全一致，不需要大幅修改现有代码
• YOLO系列：从YOLOv3到最新的YOLOv8均支持直接加载预训练权重做自定义数据集迁移学习，推理速度和精度都优于同量级的MRCNN，部署门槛更低，也完全兼容Res10 SSD的前处理、后处理逻辑
• Faster RCNN系列：和MRCNN同属两阶段检测模型，仅去掉了实例分割分支，如果你的需求只涉及目标检测不需要实例分割，Faster RCNN的适配成本更低，也完全兼容TF2.x环境

优先推荐方案 #

优先选择用OpenCV DNN直接加载Res10 SSD模型的方案，不需要调整现有MRCNN的环境和代码，改造成本最低，完全可以满足实时检测的需求。如果后续需要升级模型能力，再考虑将MRCNN迁移到TF2.x环境或者更换为YOLO系列检测模型。

内容的提问来源于stack exchange，提问作者Franca