优化通过Cloud Build向Google Artifact Registry推送Docker镜像的慢速度问题

问题背景 #

使用Google Cloud Build配合同区域（us-central1）Artifact Registry时，推送单个大变更层（如4.5GB）的Docker镜像耗时可达6-7分钟，实际构建仅需1分钟；已尝试升级Cloud Build机器配置（如e2-highcpu-8），无明显改善。镜像基于python:3.9构建，核心变更为RUN pip install $deps生成的依赖层。

一、从根源减少镜像层大小 #

推送耗时与层大小正相关，先通过优化镜像减少待传输数据：

• 拆分依赖安装层：将稳定基础依赖与高频变更的项目依赖分离，利用Docker层缓存降低每次推送的变更规模：

  FROM python:3.9
  # 安装变更频率低的基础依赖
  COPY requirements-base.txt .
  RUN pip install -r requirements-base.txt
  # 安装项目特定依赖
  COPY requirements.txt .
  RUN pip install -r requirements.txt
  CMD ["python", "-m", "something-something"]
  

• 切换轻量基础镜像：替换python:3.9为slim或alpine版本，缩减基础镜像体积，同时避免安装不必要的系统依赖：

  FROM python:3.9-alpine
  # 仅安装pip编译所需的最小系统依赖
  RUN apk add --no-cache gcc musl-dev
  COPY requirements.txt .
  # 安装后清理pip缓存减少层大小
  RUN pip install -r requirements.txt && rm -rf /root/.cache/pip
  CMD ["python", "-m", "something-something"]
  

• 清理冗余缓存：在RUN pip install命令后追加清理pip缓存的操作，去除镜像层中的冗余数据：

  RUN pip install $deps && rm -rf /root/.cache/pip
  

二、优化Cloud Build推送机制 #

• 配置远程Docker层缓存：在cloudbuild.yaml中指定Artifact Registry作为缓存源，复用已推送的镜像层，仅传输变更部分：

  steps:
  - name: 'gcr.io/cloud-builders/docker'
    args: ['build', '-t', 'us-central1-docker.pkg.dev/[PROJECT-ID]/[REPO]/[IMAGE]:[TAG]', '.']
  images:
  - 'us-central1-docker.pkg.dev/[PROJECT-ID]/[REPO]/[IMAGE]:[TAG]'
  options:
    dockerCacheOptions:
      cacheFrom:
      - 'us-central1-docker.pkg.dev/[PROJECT-ID]/[REPO]/[IMAGE]:cache'
  

• 使用私有构建池：创建配置更高带宽的私有构建池，替代默认公共池，提升内部网络传输效率：

  options:
    pool:
      name: 'projects/[PROJECT-ID]/locations/us-central1/workerPools/[YOUR-POOL-NAME]'
  

三、优化Artifact Registry设置 #

• 确认存储类配置：确保Artifact Registry使用REGIONAL存储类（当前已在us-central1，避免误设为多区域存储导致跨区域传输）。
• 启用镜像缓存：开启Artifact Registry的自动镜像缓存功能，缓存常用镜像层，减少重复传输开销。

内容的提问来源于stack exchange，提问作者Batuhan Taskaya