使用OpenVINO后端的OpenCV动态批量大小适配问题咨询

问题背景 #

• 环境：OpenCV 4.10.0 + OpenVINO 2023.1，Windows 11 C++开发环境
• 现象：通过ovc转换时设置动态批量大小[-1, 3, 112, 112]的OpenVINO IR模型，使用cv::dnn::readNetFromModelOptimizer()加载时，在OpenCV源码的it->get_shape()处抛出异常；静态批量大小[1, 3, 112, 112]的模型可正常加载推理。
• 原因：OpenCV DNN模块对OpenVINO动态形状模型的封装存在局限性，直接调用get_shape()无法处理动态维度（-1）。

可行解决方案 #

方案一：适配OpenCV DNN模块处理动态批量 #

1. 加载后手动指定输入形状
   加载模型后，不要依赖模型的动态形状定义，直接通过setInputShape()指定当前推理的实际批量大小，示例代码：

   cv::dnn::Net net = cv::dnn::readNetFromModelOptimizer("model.xml", "model.bin");
   // 根据当前业务需求设置实际批量，比如批量为2
   net.setInputShape(cv::dnn::Shape({2, 3, 112, 112}));
   net.setPreferableBackend(cv::dnn::DNN_BACKEND_INFERENCE_ENGINE);
   net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU);
   

   若模型存在多个输入，需为每个输入单独调用setInputShape()。

2. 转换模型时指定动态维度范围
   使用ovc转换模型时，除了设置动态形状，额外指定批量的合法范围，避免模型维度定义模糊，示例转换命令：

   ovc --input="input_name[1..16,3,112,112]" --output_dir=./ir model.onnx
   

   其中1..16表示批量大小的范围是1到16，可根据业务调整。

方案二：直接使用OpenVINO原生推理引擎（推荐） #

OpenCV DNN对动态形状的支持受限于封装层，直接使用OpenVINO原生API能更稳定地处理动态批量，示例代码：

1. 加载并编译模型

   #include <openvino/openvino.hpp>
   
   // 初始化OpenVINO核心
   ov::Core core;
   // 加载IR模型
   auto model = core.read_model("model.xml");
   // 可选：设置批量的动态范围（若转换时已指定可跳过）
   ov::set_batch(model, ov::Dimension(1, 16));
   // 编译模型到CPU目标设备
   auto compiled_model = core.compile_model(model, "CPU");
   // 创建推理请求
   auto infer_request = compiled_model.create_infer_request();
   

2. 准备输入并执行推理

   // 假设输入为float类型，当前批量为2
   std::vector<float> input_data(2 * 3 * 112 * 112);
   // 填充输入数据（根据实际业务逻辑）
   // ...
   
   // 设置输入张量形状并拷贝数据
   ov::Tensor input_tensor = infer_request.get_input_tensor();
   input_tensor.set_shape({2, 3, 112, 112});
   memcpy(input_tensor.data(), input_data.data(), input_data.size() * sizeof(float));
   
   // 执行推理
   infer_request.infer();
   
   // 获取输出结果
   ov::Tensor output_tensor = infer_request.get_output_tensor();
   float* output_data = output_tensor.data<float>();
   // 处理输出数据
   // ...
   

方案对比 #

• OpenCV DNN方案：无需修改大量现有代码，适合已有OpenCV推理流程的场景，但对动态形状的兼容性有限，部分复杂动态模型可能仍存在问题。
• OpenVINO原生API方案：对动态形状的支持更完善，能灵活处理各种动态维度需求，是长期业务中处理动态批量的可靠选择。

内容的提问来源于stack exchange，提问作者reza