CUDA12.1环境下Torch.compile()编译失败问题咨询

方案1：创建独立Conda虚拟环境切换到兼容版本 #

直接切换到验证过可用的CUDA11.7+PyTorch2.0.1组合，无需管理员权限，通过个人Conda环境实现：

• 创建虚拟环境：

  conda create -n torch_cu117 python=3.10 pytorch=2.0.1 torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
  

• 激活环境后即可正常运行代码：

  conda activate torch_cu117
  

方案2：调整Torch.compile()的后端/模式参数 #

针对CUDA11.8环境的兼容性问题，修改torch.compile()参数绕过报错点：

• 尝试切换到AOT Eager后端：

  model = torch.compile(model, backend="aot_eager")
  

• 或切换到Inductor后端并开启错误 fallback：

  import os
  os.environ["TORCHINDUCTOR_FALLBACK_ON_ERROR"] = "1"
  model = torch.compile(model, backend="inductor")
  

• 也可使用低开销模式降低优化强度：

  model = torch.compile(model, mode="reduce-overhead")
  

方案3：本地安装兼容的CUDA11.7副本并配置环境变量 #

若需保留PyTorch2.0.1版本，可自行下载CUDA11.7离线包解压到个人目录，无需管理员权限：

1. 下载CUDA11.7的runfile离线包，解压至$HOME/local/cuda-11.7
2. 在终端配置临时环境变量（可写入~/.bashrc或~/.zshrc永久生效）：

   export CUDA_PATH=$HOME/local/cuda-11.7
   export PATH=$CUDA_PATH/bin:$PATH
   export LD_LIBRARY_PATH=$CUDA_PATH/lib64:$LD_LIBRARY_PATH
   

3. 重新安装对应CUDA11.7的PyTorch包到个人目录：

   pip install --user torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117
   

方案4：重新安装适配CUDA11.8的PyTorch到用户目录 #

若之前的PyTorch安装存在异常，用--user参数重新安装，避免权限问题：

pip install --user torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

内容的提问来源于stack exchange，提问作者ShinelNozen