Docker中带额外索引的pip install如何持久化缓存层？

问题根源 #

你遇到的缓存仅保留1小时的问题，本质是Docker BuildKit的--mount=type=cache默认设置了较短的缓存超时时间，同时如果依赖版本未固定，pip会频繁检查远程索引导致镜像层缓存失效。以下是几种可行的持久化方案：

1. 延长BuildKit缓存的超时时间 #

直接在--mount参数中指定更长的ttl（存活时间），并添加sharing=locked避免多构建进程冲突：

RUN --mount=type=cache,target=/root/.cache/pip,sharing=locked,ttl=720h \
    pip install torch torchvision torchaudio torchsde --extra-index-url https://download.pytorch.org/whl/cu128

• ttl=720h表示缓存保留30天，可根据需求调整（比如8760h为1年）
• sharing=locked确保同一时间只有一个构建进程写入缓存，避免缓存损坏

2. 固定依赖版本，确保镜像层缓存命中 #

如果未明确指定依赖版本，pip每次构建都会检查远程索引的最新版本，导致Docker无法复用之前的镜像层。将版本号明确写入命令：

RUN --mount=type=cache,target=/root/.cache/pip,sharing=locked,ttl=720h \
    pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 torchsde==0.2.6 --extra-index-url https://download.pytorch.org/whl/cu128

只要版本号不变，Docker会直接复用已安装的镜像层，不会触发重装操作。

3. 使用Docker卷存储pip缓存（永久持久化） #

BuildKit的临时缓存会被自动清理，改用Docker卷可以永久保存缓存，除非手动删除卷：

1. 提前创建缓存卷：

   docker volume create pip-cache
   

2. 在Dockerfile中绑定该卷：

   RUN --mount=type=volume,target=/root/.cache/pip,source=pip-cache \
       pip install torch torchvision torchaudio torchsde --extra-index-url https://download.pytorch.org/whl/cu128
   

这种方式的缓存完全独立于构建环境，即使重启机器也不会丢失。

4. 将依赖包嵌入镜像层（彻底避免重装） #

如果要完全消除远程依赖检查的影响，可以提前下载依赖包到镜像中，后续构建直接使用本地包安装：

# 先创建requirements.txt列出所有依赖（含版本）
COPY requirements.txt .

# 下载依赖包到镜像内的临时目录
RUN --mount=type=cache,target=/root/.cache/pip \
    pip download -r requirements.txt --dest /tmp/pkgs --extra-index-url https://download.pytorch.org/whl/cu128

# 从本地包安装，不访问远程索引
RUN pip install --no-index --find-links=/tmp/pkgs -r requirements.txt

只要requirements.txt不变，这两步的镜像层会被永久复用，完全不需要重新下载或重装。

内容的提问来源于stack exchange，提问作者Sam Tyurenkov