AzureML实验管道运行PyTorch训练无法识别CUDA GPU问题求助
可行解决方案
修正Docker配置开启GPU支持
你的现有配置仅开启了Docker使用,未开启GPU透传,将run_config.docker配置修改为如下即可:run_config.docker = DockerConfiguration(use_docker=True, use_gpu=True)这是该场景下最常见的配置疏漏。
校验PyTorch与CUDA版本匹配
检查你的conda_dependencies.yml中安装的PyTorch版本,必须和你使用的DEFAULT_GPU_IMAGE内置的CUDA版本完全兼容。例如镜像内置CUDA 11.7时,不能安装仅支持CUDA 10.2的PyTorch版本。可优先选择AzureML官方预构建的PyTorch GPU curated环境,避免版本适配问题。排查CUDA相关环境变量冲突
检查你手动配置的环境变量是否意外覆盖了CUDA相关配置,例如是否误设CUDA_VISIBLE_DEVICES=-1屏蔽了所有GPU。可在训练脚本开头加入以下调试代码,定位问题:import torch import os print("CUDA可用状态:", torch.cuda.is_available()) print("PyTorch适配的CUDA版本:", torch.version.cuda) print("CUDA可见设备:", os.environ.get("CUDA_VISIBLE_DEVICES"))确认基础镜像为GPU镜像
打印校验env.docker.base_image的取值,确认DEFAULT_GPU_IMAGE没有被错误赋值为CPU镜像。自定义基础镜像时,需确保镜像基于NVIDIA官方CUDA基础镜像构建,内置完整CUDA运行时依赖。校验计算目标调度正确性
查看实验运行的详情页,确认任务实际调度到了你配置的Standard_NC12_Promo GPU集群,没有被误调度到CPU计算资源上。
内容的提问来源于stack exchange,提问作者3nomis
相关产品推荐
相关产品推荐

