构建Tensor RT引擎时Torch找不到cudnn_adv_train64_8.dll问题求助

我正在按照GitHub仓库指南安装trt-llm-rag-windows，执行以下构建TensorRT引擎的命令时出现错误：

python build.py --model_dir <path to llama13_chat model> --quant_ckpt_path <path to model.pt> --dtype float16 --use_gpt_attention_plugin float16 --use_gemm_plugin float16 --use_weight_only --weight_only_precision int4_awq --per_group --enable_context_fmha --max_batch_size 1 --max_input_len 3000 --max_output_len 1024 --output_dir <TRT engine folder>

栈跟踪信息 #

Traceback (most recent call last):
  File "C:\Users\user\inference\TensorRT-LLM\examples\llama\build.py", line 22, in <module>
    import torch
  File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\__init__.py", line 129, in <module>
    raise err
OSError: [WinError 127] 找不到指定的程序。加载 "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\lib\cudnn_adv_train64_8.dll" 或其依赖项时出错。

环境信息 #

• GPU: NVIDIA GeForece RTX 4070 Ti
• Python: 3.10
• pip: 24.0
• tensorrt: 9.2.0.post12.dev5
• torch: 2.1.0+cu121
• fsspec: 2023.5.0
• TensorRT: TensorRT-9.1.0.4.Windows10.x86_64.cuda-12.2.llm.beta
• Cuda: cuda_12.2.2_537.13_windows
• cuDNN: cudnn-windows-x86_64-8.9.7.29_cuda12-archive
• LLM: Llama-2-13b-chat-hf
• TensorRT-LLM: release/0.5.0

已排查内容 #

• 报错中提到的dll文件存在于torch的包目录中
• 直接在Python3.10控制台导入torch可正常运行（包含该dll）
• 执行import tensorrt_llm; print(tensorrt_llm._utils.trt_version())可正常运行，返回[TensorRT-LLM] TensorRT-LLM version: 0.8.09.2.0.post12.dev5
• 强制重新安装torch后问题仍未解决

额外背景 #

安装过程中曾遇到多个版本冲突，比如下载过更新版本的cuDNN（cudnn64_9），但均已修复。奇怪的是Python包本身似乎未损坏，直接导入时能正常运行。

请问是否有人遇到过类似问题，能否提供相关解决思路？

内容的提问来源于stack exchange，提问作者panone