加载onnxruntime_providers_cuda.dll遇错误126，CUDA无法使用求助

问题概述 #

运行模型时CUDA未被启用，报错提示无法加载onnxruntime的CUDA提供者库。

报错信息 #

2024-07-30 11:14:52.5255821 [E:onnxruntime:Default, provider_bridge_ort.cc:1745 onnxruntime::TryGetProviderInfo_CUDA] D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1426 
onnxruntime::ProviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "C:\Users\david\miniconda3\envs\Pose2Sim\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"

2024-07-30 11:14:52.5390456 [W:onnxruntime:Default, onnxruntime_pybind_state.cc:895 onnxruntime::python::CreateExecutionProviderInstance] Failed to create CUDAExecutionProvider. Please reference https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirementsto ensure all dependencies are met.
load C:\Users\david\.cache\rtmlib\hub\checkpoints\yolox_m_8xb8-300e_humanart-c2c7a14a.onnx with onnxruntime backend

系统环境与安装步骤 #

• 操作系统：Windows 11
• 安装命令：

  pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  pip install onnxruntime-gpu
  

• 尝试搭配CUDA 12.4版本的PyTorch时，出现完全相同的错误。

环境检测结果 #

执行以下检测代码：

import torch; import onnxruntime as ort; print(torch.cuda.is_available(),ort.get_available_providers())
print(f'torch version: {torch.__version__}, cuda version: {torch.version.cuda}, cudnn version: {torch.backends.cudnn.version()}, onnxruntime version: {ort.__version__}')

输出结果：

True ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']
torch version: 2.4.0+cu118, cuda version: 11.8, cudnn version: 90100, onnxruntime version: 1.18.1

检测结果符合onnxruntime CUDA执行提供者的官方要求。

硬件与依赖检测 #

• nvidia-smi输出：GPU为NVIDIA GeForce RTX 4090，驱动版本551.78，CUDA版本12.4，显存总容量24GB，当前占用0GB，输出中缺失电源信息，暂未确认是否与问题相关。
• Dependency Walker检测：对onnxruntime_providers_cuda.dll进行检测后发现，该文件缺失多个CUDA相关依赖库，包括cudnn64_8.dll、cublas64_11.dll、cublasLt64_11.dll等，推测这是导致无法加载库的根源，但不清楚具体解决方法。

内容的提问来源于stack exchange，提问作者David Pagnon