如何在Docker构建过程中缓存Python pip依赖包？

我太懂你这种慢网下的痛苦了——pip安装到一半超时，重新构建又得从头下载所有包，简直是浪费时间！别着急，咱们可以用这几个方法让Docker复用之前下载的依赖，不用每次都从零开始：

方法1：用Docker BuildKit挂载pip缓存（最推荐） #

Docker的新一代构建引擎BuildKit支持挂载缓存目录，能把pip的缓存保留在主机上，哪怕构建中断了，下次再构建时也能直接用之前下载的包。

你只需要修改Dockerfile里的RUN pip install命令，加上缓存挂载的配置：

FROM python:3.11

ENV PYTHONUNBUFFERED 1

WORKDIR /app

COPY requirements.txt ./
# 挂载pip缓存目录到主机，复用下载的包
RUN --mount=type=cache,target=/root/.cache/pip pip install -r requirements.txt

COPY . .

CMD celery -A myapp worker -l info -Q ${CELERY_QUEUE}

然后构建的时候需要启用BuildKit，有两种方式：

• 临时启用：在执行构建命令前加环境变量，比如 DOCKER_BUILDKIT=1 docker compose up --build
• 永久启用：可以在docker-compose.yml里添加build配置：

  services:
    your-service-name:
      build:
        context: .
        dockerfile: Dockerfile
        x-bake:
          cache-from: type=local,src=/tmp/buildkit-cache
          cache-to: type=local,dest=/tmp/buildkit-cache,mode=max
  

这样下次再构建时，pip会直接用主机缓存里的包，不用重新下载，就算中途超时，缓存也不会丢。

方法2：提前在主机下载依赖，离线安装 #

如果你的网络实在太差，甚至连断点续传都费劲，可以先在主机上把所有依赖包下载好，再复制到Docker镜像里安装：

1. 先在主机上运行这条命令，把requirements里的包下载到本地pip_packages目录：

   pip download -r requirements.txt -d ./pip_packages
   

2. 然后修改Dockerfile，先复制这个目录，再用本地包安装：

   FROM python:3.11
   
   ENV PYTHONUNBUFFERED 1
   
   WORKDIR /app
   
   # 先复制本地下载好的包目录
   COPY pip_packages/ ./pip_packages/
   COPY requirements.txt ./
   # 用本地包安装，不从网络下载
   RUN pip install --no-index --find-links=./pip_packages -r requirements.txt
   
   COPY . .
   
   CMD celery -A myapp worker -l info -Q ${CELERY_QUEUE}
   

这种方法完全不用依赖网络，只要本地有下载好的包，构建就能一次成功。

方法3：确保Docker构建缓存正常工作 #

其实你的原始Dockerfile已经做了正确的事——先复制requirements.txt再执行pip install，这样只要requirements.txt内容没变化，Docker应该会复用之前成功构建的RUN pip install层。但如果之前的构建中途失败了，这个层就没创建出来，所以才会重新执行。结合上面的方法1，就能解决中断后的缓存问题啦。

备注：内容来源于stack exchange，提问作者Nils