Docker容器中llama-cpp-python GPU无效果的环境排查与配置问询

1. 宿主机与容器环境配置排查 #

宿主机可能缺失的组件 #

你当前的宿主机配置中，大概率缺少nvidia-container-toolkit——这是Docker容器能正确调用NVIDIA GPU的核心组件。仅安装NVIDIA驱动和CUDA不足以让Docker容器完成GPU的资源映射与环境传递。

容器层面的潜在问题 #

• 虽然安装了cuda-toolkit-12-3，但可能未在Dockerfile中正确配置CUDA环境变量，导致llama-cpp-python无法正常调用CUDA库。
• 编译llama-cpp-python时，未针对GTX 1080的Pascal架构（Compute Capability 6.1）做针对性优化，导致CUDA加速未生效。
• 推理代码中未明确指定使用GPU层，即使编译时开启了CUBLAS，默认仍会用CPU运行。

2. 配置步骤让llama-cpp-python利用GPU #

第一步：补装宿主机的nvidia-container-toolkit #

执行以下命令完成安装与配置：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/debian12/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

第二步：调整Dockerfile配置 #

在Dockerfile中添加CUDA环境变量，并重新编译llama-cpp-python：

# 安装cuda-toolkit-12-3后添加环境变量
ENV PATH=/usr/local/cuda/bin:$PATH
ENV LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

# 重新安装llama-cpp-python，指定GTX1080的架构
RUN CMAKE_ARGS="-DLLAMA_CUBLAS=on -DLLAMA_CUDA_ARCH=61" pip install llama-cpp-python --force-reinstall --no-cache-dir

第三步：修改推理代码启用GPU #

在调用llama-cpp-python时，必须显式设置n_gpu_layers参数，将模型层加载到GPU：

from llama_cpp import Llama

# n_gpu_layers=-1表示将所有层加载到GPU（根据GTX1080的8G显存调整，大模型可设为40/60等具体数值）
llm = Llama(
    model_path="your-model.gguf",
    n_gpu_layers=-1,
    n_ctx=2048
)

# 测试推理
output = llm("Hello, World!")
print(output)

验证配置 #

1. 启动容器后，执行nvidia-smi确认GPU可被容器识别。
2. 运行推理代码时，观察宿主机的nvidia-smi输出，查看GPU使用率是否上升。

内容的提问来源于stack exchange，提问作者Ralph