如何在docker-compose中使用NVIDIA GPU运行Ollama？求配置示例

你当前使用的ollama/ollama:rocm是针对AMD ROCm架构GPU的镜像，无法适配NVIDIA GPU。以下是适配NVIDIA GPU的完整docker-compose.yml配置：

version: '3.8'

services:
  ollama:
    container_name: ollama
    image: ollama/ollama:latest
    ports:
      - 11434:11434
    volumes:
      - ollama:/root/.ollama
    networks:
      - fastgpt
    restart: always
    # 配置GPU资源预留，适配NVIDIA GPU
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all  # 可改为具体GPU数量，如1
              capabilities: [gpu]
    # 若你的Docker版本不支持deploy语法，可替换为以下runtime配置（需提前配置NVIDIA容器运行时）
    # runtime: nvidia

volumes:
  ollama:

networks:
  fastgpt:
    # 若fastgpt网络已提前创建，保留该行；否则删除让Compose自动创建
    external: true

关键说明 #

• 必须提前安装NVIDIA显卡驱动和NVIDIA Container Toolkit，否则容器无法识别GPU
• 使用deploy语法需要Docker Compose版本2.10+；若版本较低，改用runtime: nvidia，同时需在/etc/docker/daemon.json中添加{"default-runtime": "nvidia"}，然后重启Docker服务（systemctl restart docker）
• 启动容器后，可通过docker exec -it ollama ollama run llama2拉取并测试模型，用ollama ps查看GPU占用状态

内容的提问来源于stack exchange，提问作者IronSpiderMan