ONNXRuntime GPU推理无日志崩溃：原因排查与解决咨询

在.NET 6环境中运行PyTorch导出的图像分割ONNX模型时，CPU推理正常，但切换至GPU执行时程序直接崩溃，Windows事件查看器记录到cudnn64_8.dll模块抛出异常代码0xc0000409，而Python环境下GPU推理完全正常。

环境信息 #

硬件 #

• NVIDIA Quadro P620（4GB），驱动版本31.0.15.1740
• Intel Core i7-10850H
• Windows 10 22H2（OS版本19045.2251）

软件配置 #

• CUDA_PATH: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
• cuDNN版本：8.5.0.96（适配CUDA11）
• C#项目依赖：Microsoft.ML.OnnxRuntime.Gpu 1.13.1
• Visual Studio Community 2022 17.3.6（64位）

排查原因与解决方法 #

1. 版本兼容性不匹配 #

ONNX Runtime对CUDA、cuDNN的版本有严格依赖，即使主版本匹配，小版本差异或跨框架版本错位也可能触发崩溃：

• 验证版本匹配：ONNX Runtime 1.13.1官方兼容CUDA 11.6和cuDNN 8.5.x，但需确保cuDNN是针对CUDA 11.6编译的版本（当前使用的cudnn-windows-x86_64-8.5.0.96_cuda11-archive符合要求）。
• 调整ONNX Runtime版本：尝试升级至1.14.0（同样兼容CUDA11.6）或降级至1.12.1，与PyTorch 1.12.1的版本对齐，减少跨框架兼容性问题。

2. CUDA Provider参数配置过载 #

当前配置的部分CUDA Provider参数可能与模型或硬件不兼容，触发cudnn内部错误：

• 简化配置：移除不必要的参数，仅保留核心配置，避免强制启用未验证的特性：

  private void InferenceDebug(string modelPath, bool useGPU)
  {
      InferenceSession session;
  
      if (useGPU)
      {
          var cudaProviderOptions = new OrtCUDAProviderOptions();
          cudaProviderOptions.DeviceId = 0;
          cudaProviderOptions.GpuMemLimit = 2147483648; // 2GB，可根据硬件调整
  
          SessionOptions options = SessionOptions.MakeSessionOptionWithCudaProvider(cudaProviderOptions);
          session = new InferenceSession(modelPath, options);
      }
      else
          session = new InferenceSession(modelPath);
  
      // 输入张量生成逻辑与原代码一致
      var inputs = new List<NamedOnnxValue> { NamedOnnxValue.CreateFromTensor<float>("modelInput", input) };
      using var results = session.Run(inputs);
  }
  

• 调整卷积算法搜索策略：若仍崩溃，将cudnn_conv_algo_search设置为HEURISTIC，避免cudnn尝试不兼容的卷积算法：

  var providerOptionsDict = new Dictionary<string, string>();
  providerOptionsDict["cudnn_conv_algo_search"] = "HEURISTIC";
  cudaProviderOptions.UpdateOptions(providerOptionsDict);
  

3. ONNX模型opset版本不兼容 #

PyTorch默认导出的opset版本可能与ONNX Runtime的GPU算子实现不匹配：

• 指定兼容opset版本：导出ONNX时显式指定opset_version为17（PyTorch 1.12支持，且ONNX Runtime 1.13+完全兼容）：

  torch.onnx.export(model,
          dummy_input,
          "model.onnx",
          export_params=True,
          do_constant_folding=True,
          input_names=['modelInput'],
          output_names=['modelOutput'],
          dynamic_axes={'modelInput': [0,2,3], 'modelOutput': [0,2,3]},
          opset_version=17)
  

• 验证模型有效性：在Python中用ONNX工具检查模型完整性：

  import onnx
  model = onnx.load("model.onnx")
  onnx.checker.check_model(model) # 确认模型结构合法
  

4. cuDNN DLL加载优先级问题 #

系统PATH中可能存在其他版本的cudnn64_8.dll，导致程序加载了不兼容的版本：

• 调整PATH顺序：将C:\Program Files\NVIDIA\CUDNN\v8.5\bin移至PATH环境变量的最顶端，确保优先加载正确版本。
• 复制DLL到输出目录：直接将cudnn64_8.dll从cuDNN的bin目录复制到C#项目的输出文件夹（如bin\x64\Debug），避免系统加载错误版本。

内容的提问来源于stack exchange，提问作者Léo