Ollama未检测到兼容GPU，如何让Docker部署的Ollama调用GPU？

问题概述 #

部署Ollama Docker容器后服务正常运行，但日志显示无法识别兼容GPU，仅使用CPU处理任务。服务器配备NVIDIA RTX 4000 SFF Ada显卡，已安装NVIDIA Container Toolkit但未生效。

日志信息：

level=INFO source=gpu.go:221 msg="looking for compatible GPUs"
level=INFO source=gpu.go:386 msg="no compatible GPUs were discovered"

解决方案 #

1. 重启Docker服务 #

配置NVIDIA runtime后需重启Docker使配置生效：

sudo systemctl restart docker

2. 重新启动Ollama容器并指定GPU访问权限 #

原启动命令未配置GPU相关参数，需删除旧容器后重新启动：

# 停止并删除现有容器
docker stop ollama && docker rm ollama

# 启动容器时添加--gpus参数（推荐方式）
docker run -d --network=host --restart always -v ollama:/root/.ollama -p 11434:11434 --gpus all --name ollama ollama/ollama

或使用指定runtime的方式：

docker run -d --network=host --restart always -v ollama:/root/.ollama -p 11434:11434 --runtime=nvidia --name ollama ollama/ollama

3. 验证容器内GPU可用性 #

进入容器执行nvidia-smi命令，确认GPU可被容器识别：

docker exec -it ollama nvidia-smi

若能正常显示GPU信息，说明配置生效；若失败，重新检查NVIDIA Container Toolkit安装步骤。

4. 确保主机NVIDIA驱动版本兼容 #

RTX 4000 SFF Ada属于Ada Lovelace架构，要求主机NVIDIA驱动版本≥470.x。执行以下命令查看驱动版本：

nvidia-smi

若版本过低，升级驱动后重启服务器再重试。

5. 更新Ollama镜像至最新版本 #

拉取最新镜像确保对新GPU架构的支持：

docker pull ollama/ollama:latest

内容的提问来源于stack exchange，提问作者Bakri Bitar