AzureML GPU加载Bart模型遇NVIDIA驱动过旧错误，其他模型正常

核心矛盾 #

你遇到的问题本质是PyTorch版本与NVIDIA驱动版本不兼容：

• 你安装的PyTorch 2.1.0配套cu121，要求NVIDIA驱动版本至少为525.60.13（对应驱动版本号12010以上）
• 但AzureML实例当前驱动版本是11040（对应CUDA 11.4兼容的470.x系列驱动），远低于cu121的要求

为什么两个模型表现不同？ #

• Salesforce/codegen-350M-mono参数规模小，加载时可能自动 fallback到CPU运行（若未强制指定GPU），或者其模型结构未调用cu121专属的CUDA算子，因此没触发驱动版本校验
• facebook/bart-large参数量更大（~1.4亿），加载时默认尝试启用GPU加速，调用了依赖高版本驱动的CUDA算子，直接触发版本不兼容报错

解决步骤 #

方案1：安装适配当前驱动的PyTorch版本（推荐，无需修改实例配置） #

当前驱动支持CUDA 11.4/11.7/11.8，选择对应PyTorch版本即可，比如PyTorch 2.0.1+cu118（最低驱动要求450.80.02，你的470.x完全满足）：

1. 先卸载现有PyTorch：

pip uninstall -y torch torchvision torchaudio

2. 安装适配版本：

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

3. 验证安装：

import torch
print(torch.cuda.is_available())  # 应输出True
print(torch.version.cuda)         # 应输出11.8

4. 重新安装transformers（保持版本4.34.0即可）：

pip install transformers==4.34.0

方案2：升级AzureML实例的NVIDIA驱动（适合需保留PyTorch 2.1.0的场景） #

若必须使用PyTorch 2.1.0+cu121，需升级实例驱动：

• 若使用托管AzureML计算实例：需切换到预装高版本驱动的VM镜像，或自定义镜像安装NVIDIA 525.60.13及以上版本驱动（注意托管实例的驱动更新可能受镜像限制，需联系Azure支持或使用自定义计算实例）
• 若使用自定义虚拟机作为计算目标：直接通过apt/yum安装对应驱动包

额外检查 #

• 确认AzureML计算实例的GPU规格：确保实例配备的GPU支持对应CUDA版本（比如V100/A100均支持CUDA 11.x和12.x）
• 加载模型时显式指定设备：避免自动 fallback导致的性能问题，比如：

from transformers import BartTokenizer, BartForConditionalGeneration
model = BartForConditionalGeneration.from_pretrained("facebook/bart-large").to("cuda")
tokenizer = BartTokenizer.from_pretrained("facebook/bart-large")

内容的提问来源于stack exchange，提问作者matsuo_basho