You need to enable JavaScript to run this app. AzureML实验管道运行PyTorch训练无法识别CUDA GPU问题求助
优惠活动
大模型
产品
解决方案
定价
更多

AzureML实验管道运行PyTorch训练无法识别CUDA GPU问题求助

可行解决方案
  • 修正Docker配置开启GPU支持
    你的现有配置仅开启了Docker使用,未开启GPU透传,将run_config.docker配置修改为如下即可:

    run_config.docker = DockerConfiguration(use_docker=True, use_gpu=True)
    

    这是该场景下最常见的配置疏漏。

  • 校验PyTorch与CUDA版本匹配
    检查你的conda_dependencies.yml中安装的PyTorch版本,必须和你使用的DEFAULT_GPU_IMAGE内置的CUDA版本完全兼容。例如镜像内置CUDA 11.7时,不能安装仅支持CUDA 10.2的PyTorch版本。可优先选择AzureML官方预构建的PyTorch GPU curated环境,避免版本适配问题。

  • 排查CUDA相关环境变量冲突
    检查你手动配置的环境变量是否意外覆盖了CUDA相关配置,例如是否误设CUDA_VISIBLE_DEVICES=-1屏蔽了所有GPU。可在训练脚本开头加入以下调试代码,定位问题:

    import torch
    import os
    print("CUDA可用状态:", torch.cuda.is_available())
    print("PyTorch适配的CUDA版本:", torch.version.cuda)
    print("CUDA可见设备:", os.environ.get("CUDA_VISIBLE_DEVICES"))
    
  • 确认基础镜像为GPU镜像
    打印校验env.docker.base_image的取值,确认DEFAULT_GPU_IMAGE没有被错误赋值为CPU镜像。自定义基础镜像时,需确保镜像基于NVIDIA官方CUDA基础镜像构建,内置完整CUDA运行时依赖。

  • 校验计算目标调度正确性
    查看实验运行的详情页,确认任务实际调度到了你配置的Standard_NC12_Promo GPU集群,没有被误调度到CPU计算资源上。

内容的提问来源于stack exchange,提问作者3nomis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 23:54:03