PyTorch转换的ONNX模型加载到OpenCV失败的问题排查

问题原因 #

从错误日志来看，OpenCV 4.7.0的DNN模块在解析ReduceMax节点时触发了inputs.size() > 0的断言失败，核心原因是：

• OpenCV的ONNX解析器算子支持范围有限，对模型中部分复杂节点结构（比如坐标添加层输出连接的ReduceMax）的处理逻辑不完善，无法正确识别该节点的输入张量。
• ONNX Runtime的算子兼容能力远强于OpenCV DNN，能处理这类未被OpenCV完全支持的算子结构，因此模型可以正常运行。

可行解决办法 #

• 升级OpenCV版本：OpenCV 4.8.0及后续版本对ONNX算子的支持有明显改进，大概率修复了ReduceMax这类节点的解析问题，建议更新到最新稳定版后重试。
• 简化ONNX模型：
  使用onnx-simplifier工具精简模型结构，去除冗余节点，让算子格式更贴合OpenCV的解析要求：

  python -m onnxsim model.onnx simplified_model.onnx
  

  之后尝试加载简化后的simplified_model.onnx。
• 调整PyTorch转ONNX的导出参数：
  导出ONNX时指定兼容的算子集版本（比如opset 11或13），避免使用过高版本的算子：

  torch.onnx.export(model, dummy_input, "model.onnx", opset_version=11)
  

• 切换OpenCV推理后端为ONNX Runtime：
  如果必须使用OpenCV框架，可以将ONNX Runtime作为后端，借助其完善的算子支持来加载模型：

  import cv2
  net = cv2.dnn.readNetFromONNX('model.onnx')
  # 设置后端为ONNX Runtime
  net.setPreferableBackend(cv2.dnn.DNN_BACKEND_ONNXRUNTIME)
  # 设置目标设备（CPU/GPU）
  net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)
  

  注意：部分预编译OpenCV包可能未包含ONNX Runtime后端，若无法运行需自行编译OpenCV并启用该选项。
• 直接使用ONNX Runtime推理：
  既然模型在ONNX Runtime中可正常运行，可直接用ONNX Runtime完成推理流程，仅用OpenCV处理图像的读取、预处理和后处理步骤。

内容的提问来源于stack exchange，提问作者einToast