如何借助Hugging Face缓存构建Docker镜像？

方法1：通过环境变量指定缓存目录 #

• 在Dockerfile中设置TRANSFORMERS_CACHE和DATASETS_CACHE环境变量，指向容器内的应用目录（比如/app/hf_cache）：

  ENV TRANSFORMERS_CACHE=/app/hf_cache
  ENV DATASETS_CACHE=/app/hf_cache
  

• 随后在构建步骤中运行下载模型/数据集的命令，缓存会被写入指定目录并打包进镜像：

  RUN python -c "from transformers import AutoModel; AutoModel.from_pretrained('你的模型名称')"
  

方法2：利用Docker构建缓存层优化 #

• 将缓存下载作为独立构建步骤，提前拉取模型资源，后续构建只要模型版本不变就会复用该层：

  # 第一步：配置缓存并下载模型
  ENV TRANSFORMERS_CACHE=/app/hf_cache
  WORKDIR /app
  RUN python -c "from transformers import AutoModel; AutoModel.from_pretrained('你的模型名称')"
  
  # 第二步：复制应用代码
  COPY . .
  
  # 后续构建指令...
  

多阶段构建场景注意事项 #

如果使用多阶段构建，需确保缓存目录被正确复制到最终镜像：

# 构建阶段：下载缓存
FROM python:3.9 as builder
ENV TRANSFORMERS_CACHE=/app/hf_cache
RUN python -c "from transformers import AutoModel; AutoModel.from_pretrained('你的模型名称')"

# 最终阶段：复用缓存
FROM python:3.9
COPY --from=builder /app/hf_cache /app/hf_cache
ENV TRANSFORMERS_CACHE=/app/hf_cache
COPY . /app
WORKDIR /app

核心逻辑：避免使用默认的~/.cache/huggingface目录，将缓存指定到应用目录范围内，让Docker在构建时将缓存文件打包进镜像，同时利用Docker的层缓存特性减少重复下载。

内容的提问来源于stack exchange，提问作者NicolasSens