基于setuptools构建Dockerfile：如何避免文件变更时全量重建

针对你遇到的源码修改触发全量重建、仅复制setup.py导致包缺失的问题，以下是几个实用的解决方案，核心思路都是利用Docker分层缓存特性，将大依赖安装与源码变更解耦：

方案1：拆分Dockerfile分层，预安装第三方依赖 #

通过先解析setup.py中的依赖并安装，再复制源码，确保源码修改不会触发依赖重新下载：

FROM python:3.10-slim

WORKDIR /app

# 仅复制setup.py（及pyproject.toml，若使用），这一步的缓存仅在依赖声明变更时失效
COPY setup.py pyproject.toml* ./

# 生成egg-info目录，提取第三方依赖列表
RUN python setup.py egg_info

# 安装所有第三方依赖，利用Docker缓存，依赖不变则不会重新下载
RUN pip install -r $(find . -name "*.egg-info" -type d)/requires.txt

# 最后复制完整源码，修改源码只会触发这一步及后续操作
COPY . .

# 若项目需要以可编辑模式安装，可添加此步（依赖已存在，不会重复下载）
# RUN pip install -e .

CMD ["python", "your_main_script.py"]

方案2：预构建依赖镜像，作为项目镜像的基础 #

将大依赖和模型单独构建成一个基础镜像，日常仅需构建包含源码的上层镜像：

第一步：构建依赖镜像（Dockerfile.deps） #

FROM python:3.10-slim

WORKDIR /app

# 复制setup.py解析依赖
COPY setup.py ./
RUN python setup.py egg_info
RUN pip install -r $(find . -name "*.egg-info" -type d)/requires.txt

# 提前下载faster-whisper模型到镜像，避免运行时下载
RUN python -c "from faster_whisper import WhisperModel; WhisperModel('large-v2', download_root='/app/models')"

构建命令：

docker build -f Dockerfile.deps -t my-project-deps:latest .

第二步：构建项目镜像（Dockerfile） #

FROM my-project-deps:latest

WORKDIR /app

# 仅复制源码，无需再处理依赖
COPY . .

# 安装项目本身（若需要）
RUN pip install .

# 设置模型路径环境变量，让程序直接使用预下载的模型
ENV TRANSFORMERS_CACHE=/app/models

CMD ["python", "your_main_script.py"]

后续仅修改源码时，只需重新构建项目镜像，不会触发依赖重新下载。

方案3：利用Docker卷缓存依赖与模型（适合开发阶段） #

通过挂载卷缓存pip下载内容和模型，减少重复操作：

FROM python:3.10-slim

WORKDIR /app

# 复制全部源码
COPY . .

# 构建时挂载pip缓存卷，避免重复下载依赖
RUN --mount=type=cache,target=/root/.cache/pip pip install .

# 运行时挂载模型卷，模型只需下载一次
VOLUME /app/models
ENV TRANSFORMERS_CACHE=/app/models

CMD ["python", "your_main_script.py"]

注意：此方案更适合开发环境，生产环境推荐预构建依赖和模型到镜像中。

方案4：本地预下载依赖与模型，离线构建镜像 #

提前在本地下载好大依赖的wheel包和模型，直接复制到镜像中，完全避免网络下载：

1. 本地生成依赖列表：

pip install pip-tools
pip-compile setup.py  # 生成requirements.txt

2. 本地下载依赖wheel包：

pip wheel -r requirements.txt -w ./wheels/

3. 本地下载faster-whisper模型，保存到./models/目录

4. 编写Dockerfile：

FROM python:3.10-slim

WORKDIR /app

# 复制本地预下载的wheel包和模型
COPY ./wheels/ ./wheels/
COPY ./models/ ./models/

# 从本地wheel包安装依赖，无需网络
RUN pip install --no-index --find-links=./wheels/ -r requirements.txt

# 复制源码
COPY . .

ENV TRANSFORMERS_CACHE=/app/models

CMD ["python", "your_main_script.py"]

内容的提问来源于stack exchange，提问作者Jankapunkt