如何在Docker中为Mac环境正确安装llama-cpp-python？

1. 先安装系统编译依赖 #

llama-cpp-python需要编译二进制组件，Docker基础镜像默认缺少必要的构建工具，需提前安装：

Debian/Ubuntu系镜像（如python:3.11-slim） #

在Dockerfile中添加：

RUN apt-get update && apt-get install -y --no-install-recommends \
    build-essential cmake git gcc g++ \
    && rm -rf /var/lib/apt/lists/*

Alpine系镜像 #

添加：

RUN apk add --no-cache build-base cmake git gcc g++

2. 正确执行带环境变量的安装命令 #

将环境变量与pip安装命令放在同一条RUN指令中，确保编译参数生效：

RUN CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install llama-cpp-python

注意：Docker在Mac上运行于虚拟机内，Metal加速无法直接传递到容器，若不需要Metal支持，可删除-DLLAMA_METAL=on参数，减少编译复杂度。

3. 备选方案：使用预编译wheel包 #

若编译仍失败，可尝试直接安装预编译的wheel（需匹配容器架构和Python版本）：

RUN pip install llama-cpp-python --find-links=https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.50/

（请替换版本号为项目最新发布版本）

额外提示 #

• 优先使用官方Python镜像（如python:3.10-bookworm），避免版本兼容性问题。
• 确保Dockerfile中所有pip安装指令使用相同的Python环境（若用虚拟环境，需先激活）。

内容的提问来源于stack exchange，提问作者Maxl Gemeinderat