ML.net中使用DirectML加载ONNX模型时InferenceSession报错

以下是针对你遇到的DirectML加载模型报错问题的排查和修复步骤：

1. 排查ONNX模型导出的兼容性 #

FastRCNN这类目标检测模型导出ONNX时，很容易因为动态维度、算子版本不兼容导致DirectML无法解析：

• 固定输入尺寸导出：PyTorch导出时不要用动态维度，指定固定的batch、图像尺寸，示例代码：

  # 替换成你微调时用的图像尺寸
  dummy_input = torch.randn(1, 3, 640, 640)
  torch.onnx.export(
      model,
      dummy_input,
      "fastrcnn_fixed.onnx",
      opset_version=12,  # 选DirectML支持的opset（建议11-13）
      do_constant_folding=True,
      input_names=["image"],
      output_names=["boxes", "scores"],
      dynamic_axes=None  # 关闭动态维度，避免参数解析错误
  )
  

• 开启常量折叠：do_constant_folding=True能把静态计算的部分提前固化，减少DirectML运行时的算子兼容问题。

2. 调整DirectML执行提供器的初始化 #

你代码里指定了设备ID为0，可能设备ID不正确或者不需要手动指定：

• 改成自动检测可用GPU，去掉设备ID参数：

  sessionOptions.AppendExecutionProvider_DML();  // 自动选择合适的GPU设备
  

• 如果是双显卡（集成+独立），可以尝试设备ID=1，比如sessionOptions.AppendExecutionProvider_DML(1);

3. 降低图优化级别 #

你开启了ORT_ENABLE_ALL全量优化，部分优化算子可能和DirectML冲突：

• 调整为基础或扩展优化级别：

  sessionOptions.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_EXTENDED;
  

4. 验证ONNX模型的合法性 #

用ONNX官方工具检查模型是否符合标准：

• 安装onnxruntime-tools后运行验证命令：

  python -m onnxruntime.tools.validate_onnx_model your_model.onnx
  

  如果模型有算子不兼容、维度错误等问题，工具会直接给出提示。

5. 检查版本兼容性 #

• 确保使用的ONNX Runtime版本在1.13以上，这个版本对DirectML的支持更稳定；
• 系统需要是Windows 10 1903及以上或Windows 11，DirectML依赖系统的图形API支持。

内容的提问来源于stack exchange，提问作者filtrow