如何在支持GPU的Azure容器实例运行Docker镜像？GPU无法识别如何解决

你提到的「Dockerfile未指定任何GPU相关配置」就是程序无法检测到GPU的核心问题。容器是隔离运行环境，即使宿主（Azure GPU容器实例）具备GPU硬件和驱动，容器内部如果没有CUDA runtime、cuDNN等PyTorch调用GPU的必需依赖，也无法识别到GPU硬件。

其他可能的触发因素 #

• 基础镜像选型错误：如果Dockerfile使用的是标准Python、Ubuntu等不带CUDA组件的基础镜像，容器内没有GPU调用的底层依赖，PyTorch默认会回退到CPU模式。
• Azure容器实例部署配置错误：选择GPU SKU后需要显式声明GPU资源申请参数，未指定nvidia.com/gpu资源请求的情况下，Azure不会将GPU硬件透传到容器内。
• PyTorch版本与CUDA版本不兼容：WSL2构建环境中安装的如果是CPU-only版本的PyTorch，或是PyTorch支持的CUDA版本与Azure GPU宿主的驱动版本不匹配，也会导致GPU检测失败。
• 运行时配置错误：Azure GPU容器实例默认使用nvidia runtime，如果部署配置强制指定了普通runc runtime，会导致GPU硬件无法透传至容器。

修复步骤 #

1. 调整Dockerfile基础镜像，优先选用PyTorch官方提供的带对应CUDA版本的 runtime 镜像，示例配置：

# 替换原有标准Python基础镜像，以CUDA11.8 + PyTorch2.0.1为例，可根据需求替换对应版本
FROM pytorch/pytorch:2.0.1-cuda11.8-cudnn8-runtime

# 原有业务依赖安装逻辑保持不变
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .

EXPOSE 80
CMD ["gunicorn", "app:app", "-b", "0.0.0.0:80"]

2. 确认Azure容器实例部署参数正确，如果你使用Azure CLI部署，需要显式指定GPU参数，示例命令：
   az container create --resource-group <你的资源组名称> --name <容器实例名称> --image <ACR镜像全路径> --gpu-count 1 --gpu-sku V100 --ports 80
3. 本地验证镜像有效性：如果你的WSL2环境已经配置了NVIDIA WSL2驱动，可以本地运行构建好的镜像执行验证命令，确认GPU可以正常识别后再推送到ACR部署：
   docker run --rm --gpus all <你的镜像名> python -c "import torch; print(torch.cuda.is_available())"
   正常返回True即说明镜像配置正确。

内容的提问来源于stack exchange，提问作者amro_ghoneim