如何将TensorFlow Python接口训练的DNN权重应用于C++项目

你可以选择以下几个轻量、无需额外性能优化依赖的库，调用逻辑和你原有tkDNN的使用方式高度相似，传入权重路径即可完成初始化和推理：

可选库列表 #

• OpenCV DNN模块
  是目前适配成本最低的选项，无需额外安装第三方推理库，本身内置对YOLO系列、TensorFlow导出的pb模型的原生支持，API逻辑和你现有代码几乎一致，完全满足无FPS要求的场景。
• TensorFlow Lite C++ API
  TensorFlow官方推出的轻量推理接口，你可以直接把TF2.4训练的模型导出为tflite格式，直接在C++环境加载推理，兼容性最优，不存在模型转换的精度损失问题。
• ONNX Runtime C++
  通用跨框架推理库，你可以先将TensorFlow训练的模型、YOLO权重转换为通用ONNX格式，再传入该库完成初始化推理，后续如果更换模型框架也不需要调整推理侧代码。

适配提示 #

你当前使用的tkDNN专属的.rt定点化权重是tkDNN的私有格式，其他库无法直接读取，你可以先将原始训练权重导出为Darknet的.weights格式、TensorFlow的.pb格式或者通用.onnx格式，即可直接被上述库加载。

示例代码（OpenCV DNN版本，对齐你原有逻辑） #

#include <opencv2/dnn.hpp>
#include <opencv2/opencv.hpp>

int main()
{
    int n_classes = 3;
    int n_batch = 2;
    // 替换为你的通用权重路径，比如yolo-tiny的weights和cfg路径
    const std::string model_cfg = "/path/to/yolov3-tiny.cfg";
    const std::string model_weights = "/path/to/yolov3-tiny.weights";

    // 初始化推理网络，等价于原有detNN->init逻辑
    cv::dnn::Net net = cv::dnn::readNetFromDarknet(model_cfg, model_weights);
    // 可选择CPU推理，不需要GPU依赖
    net.setPreferableBackend(cv::dnn::DNN_BACKEND_OPENCV);
    net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU);

    // 原有摄像头读取逻辑完全不变
    bool g = true;
    cv::VideoCapture cap(0);
    if(!cap.isOpened())
        g = false;
    else
        std::cout<<"camera started\n";

    // ... 后续只需要替换推理调用部分即可
}

内容的提问来源于stack exchange，提问作者MH.AI.eAgLe