GitLab CI结合GCP构建Docker镜像耗时长 已用--cache-from优化方案

配置--cache-from依然构建慢，基本是以下几个问题导致：

• 缓存配置无效：当前配置仅将最终版本镜像作为缓存源，没有开启BuildKit的分层缓存导出能力，缓存没有持久化存储构建中间层，绝大多数场景下缓存命中率为0。同时没有做缓存存在性校验，缓存镜像拉取失败时会直接走全量构建。
• 构建资源规格不足：Cloud Build默认使用1vCPU/3.75G内存的E2_MEDIUM机型，依赖编译、镜像分层压缩、大文件IO场景下资源瓶颈会直接拉长构建时间。
• Dockerfile结构不合理：如果将业务代码拷贝步骤放在依赖安装步骤之前，哪怕只修改一行业务代码，依赖安装层的缓存会直接失效，每次构建都要全量重装所有语言依赖。
• 传输开销占比高：跨区域拉取基础镜像/推送镜像、构建上下文包含大量冗余文件、未做镜像瘦身的情况下，网络传输时间可能占到总构建时长的60%以上。
• 未使用原生缓存能力：没有配置Cloud Build持久化工作卷、Artifact Registry上游镜像缓存，每次构建都要从公网拉取基础镜像、重新下载全量依赖包。

1. 修正缓存配置，开启BuildKit分层缓存 #

不要仅靠--cache-from单参数做缓存，先拉取已有镜像作为缓存基底，同时配置--cache-to将中间构建层导出到专用缓存标签，确保缓存可复用。参考配置片段：

steps:
  # 预拉取缓存镜像，不存在时直接跳过不报错
  - name: gcr.io/cloud-builders/docker
    entrypoint: bash
    args:
      - -c
      - docker pull ${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:latest || true
  # 构建镜像，开启BuildKit，配置双向缓存
  - name: gcr.io/cloud-builders/docker
    args:
      - build
      - -t ${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:$COMMIT_SHA
      - -t ${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:latest
      - --cache-from type=registry,ref=${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:latest
      - --cache-to type=registry,ref=${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:cache,mode=max
      - .
    env:
      - DOCKER_BUILDKIT=1
# 可按需升级构建机型，高CPU机型在编译、压缩场景下速度提升明显
options:
  machineType: E2_HIGHCPU_8
  logging: CLOUD_LOGGING_ONLY
images:
  - ${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:$COMMIT_SHA
  - ${_REGION}-docker.pkg.dev/${PROJECT_ID}/${_REPO}/${_IMAGE}:latest

2. 调整Dockerfile结构最大化缓存命中 #

严格按照「变更频率越低的层越靠前」的顺序编写指令，优先拷贝依赖声明文件、执行依赖安装，最后拷贝业务源码，同时用多阶段构建剔除构建时依赖，缩小镜像体积。以Node.js项目为例：

# 构建阶段
FROM node:20-alpine AS builder
WORKDIR /app
# 仅拷贝依赖声明文件，只有依赖变更时才会重新执行npm ci
COPY package*.json ./
RUN npm ci --only=production
# 最后拷贝业务代码，代码变更不会触发依赖重装
COPY . .
RUN npm run build

# 运行阶段，仅拷贝必要产物
FROM node:20-alpine
WORKDIR /app
COPY --from=builder /app/node_modules ./node_modules
COPY --from=builder /app/dist ./dist
CMD ["node", "dist/main.js"]

根目录添加.dockerignore文件，排除.git、node_modules、本地日志、测试文件等不需要进入构建上下文的内容，减少上下文传输耗时。

3. 降低网络传输开销 #

• 将Cloud Build任务、Artifact Registry仓库部署在同一GCP区域，走内网传输镜像，避免跨区域公网传输延迟
• 配置Artifact Registry远程仓库缓存，将Docker Hub等公网源的基础镜像缓存到GCP内网，拉取速度可提升10倍以上
• 避免在构建步骤中拉取公网大文件，常用依赖包可以提前打包到自定义构建镜像，或者存在内网存储桶通过内网拉取

4. 配置持久化缓存卷 #

针对各语言的依赖缓存目录（比如npm的/root/.npm、Maven的/root/.m2、pip的/root/.cache/pip），挂载Cloud Build持久化卷，不用每次构建都重新下载依赖包，配置示例：

steps:
  - name: gcr.io/cloud-builders/npm
    args: ["install"]
    volumes:
      - name: npm-cache
        path: /root/.npm

5. 裁剪不必要的构建步骤 #

在GitLab CI触发规则中添加路径过滤，仅当业务代码、Dockerfile变更时才触发镜像构建，文档、CI配置变更时直接跳过构建；非主干分支构建不要执行全量集成测试、安全扫描等重操作，将这类步骤拆分到合并请求检查阶段，缩短主干构建耗时。

内容的提问来源于stack exchange，提问作者Kainat