Azure ML中PyTorch无法调用NVIDIA Tesla T4 GPU求助

1. 卸载现有CPU版PyTorch #

先彻底清理当前安装的CPU版本PyTorch及相关组件，避免残留依赖干扰：

conda remove pytorch torchvision torchaudio --force

2. 匹配CUDA编译工具版本 #

你的nvcc --version显示为10.1，和要安装的PyTorch对应的CUDA12.1不兼容，先升级conda环境内的CUDA工具包：

conda install cuda-toolkit=12.1 -c nvidia

安装完成后重新运行nvcc --version，确认版本变为12.1。如果没生效，重启Azure ML计算实例让环境变量更新。

3. 重新安装GPU版PyTorch #

在CUDA工具包版本匹配的前提下，重新执行安装命令：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后用conda list检查，PyTorch版本应显示带cu121标识，而非py3.8_cpu_0。

4. 验证GPU可用性 #

在Jupyter Notebook中运行以下代码确认：

import torch
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))

若返回True和Tesla T4，则GPU支持已启用。

额外排查点 #

• 若仍安装为CPU版，检查conda频道优先级，确保pytorch和nvidia频道排在前列：

conda config --add channels pytorch
conda config --add channels nvidia
conda config --add channels defaults

• 必要时重启Azure ML计算实例，确保环境配置完全生效。

内容的提问来源于stack exchange，提问作者Bilal Sedef