Dockerfile中优化pip install避免重复下载依赖的最佳实践

针对你给出的Dockerfile场景——当requirements.txt里的依赖下载/安装失败，重新构建时pip会重新下载所有依赖，这里有几个实用的最佳实践来优化这个问题：

1. 拆分依赖文件+优化Docker分层，最大化复用构建缓存 #

这是最基础也最有效的手段。我们可以把依赖拆分为稳定基础依赖和频繁变动依赖两个文件（比如base_requirements.txt和requirements.txt），然后在Dockerfile中分层安装：

• 稳定依赖：比如Python标准库的扩展、长期不会更新的第三方包，放在base_requirements.txt
• 变动依赖：项目业务相关、经常迭代的包，放在requirements.txt

修改后的Dockerfile示例：

FROM python:3.6-alpine
RUN apk add --no-cache --virtual .fetch-deps \
    zlib-dev \
    jpeg-dev \
    geoip-dev
ENV PYTHONUNBUFFERED 1

# 先升级pip工具链，这层仅在基础镜像更新时才会重新执行
RUN pip install --upgrade pip setuptools wheel

RUN mkdir /src
WORKDIR /src

# 先安装稳定基础依赖，这层缓存不会轻易失效
ADD base_requirements.txt /src/
RUN pip install -r base_requirements.txt

# 最后安装变动依赖，仅当requirements.txt修改时才会重新执行
ADD requirements.txt /src/
RUN pip install -r requirements.txt

这样一来，即使requirements.txt的依赖安装失败，重新构建时base_requirements.txt的安装层依然可以复用，不用重新下载所有依赖。

2. 利用Docker BuildKit的缓存挂载，保留pip下载缓存 #

Docker BuildKit提供了缓存挂载功能，可以让pip在构建过程中复用已下载的包缓存，即使构建失败，下次重新构建也不用重复下载相同的包。

你只需要开启BuildKit（构建前执行export DOCKER_BUILDKIT=1），然后修改pip安装的RUN指令：

# ...其他步骤保持不变
ADD requirements.txt /src/
# 挂载pip缓存目录到主机缓存，避免重复下载
RUN --mount=type=cache,target=/root/.cache/pip \
    pip install -r requirements.txt

这个方式会把pip的下载缓存持久化在主机上，每次构建时优先从缓存读取已下载的包，大幅减少重复下载的时间。

3. 不需要使用独立卷存储依赖 #

独立卷通常用于存储容器运行时的动态数据（比如日志、用户上传文件），并不适合用来处理构建阶段的依赖缓存。把依赖直接安装到镜像中，容器运行时可以直接使用，镜像本身也具备可移植性，不需要额外挂载卷来依赖外部文件。

4. 没有专用指令替代RUN处理pip安装 #

Docker并没有专门针对pip安装的指令，所有依赖安装操作依然需要通过RUN指令完成，核心优化点还是围绕分层缓存和外部缓存挂载来实现。

内容的提问来源于stack exchange，提问作者Ivan Lebediev