GCP中Docker镜像构建耗时6分钟排查请求（附配置文件）

问题描述 #

在GCP环境中使用Kaniko构建Docker镜像耗时长达6分钟，已启用Kaniko缓存优化，但构建日志输出Step #0: INFO[0083] Found cached layer, extracting to filesystem后长时间无内容更新。

提供的Dockerfile #

FROM node:22.7.0

# Set environment variables early
ENV PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=true \
    CHROME_PATH="/usr/bin/google-chrome"

# Install dependencies in one layer to minimize image size
RUN apt-get update && \
    apt-get install -y --no-install-recommends ffmpeg chromium && \
    ln -s /usr/bin/chromium /usr/bin/google-chrome && \
    apt-get clean

# Copy package files and install dependencies
COPY package.json yarn.lock ./
RUN yarn install --frozen-lockfile

# Copy the rest of the project files
COPY . .

# Start the application
CMD ["yarn", "run", "serve"]

提供的Cloud Build配置 #

steps:
  - name: "gcr.io/kaniko-project/executor:latest"
    args:
      - --destination=${_LOCATION}-docker.pkg.dev/$PROJECT_ID/${_REPOSITORY}/${_IMAGE}
      - --cache=true
  - name: "gcr.io/google.com/cloudsdktool/cloud-sdk"
    entrypoint: gcloud
    args:
      [
        "run",
        "deploy",
        "${_SERVICE}",
        "--image",
        "${_LOCATION}-docker.pkg.dev/$PROJECT_ID/${_REPOSITORY}/${_IMAGE}",
        "--region",
        "${_LOCATION}",
      ]

options:
  default_logs_bucket_behavior: REGIONAL_USER_OWNED_BUCKET

substitutions:
  _SERVICE: my-app
  _LOCATION: us-central1
  _REPOSITORY: cloud-run-source-deploy
  _IMAGE: my-app

解决建议 #

1. 开启Kaniko详细日志，排查缓存提取状态 #

Kaniko默认在缓存提取阶段不会输出详细进度，可添加参数启用调试日志，明确是否真的卡顿：
在Kaniko步骤的args中追加：

- --verbosity=debug
- --cache-ttl=72h

调试日志会输出缓存提取的具体细节，帮助判断是进程停滞还是日志静默。

2. 拆分大依赖安装层，降低缓存提取压力 #

当前apt-get install一次性安装了ffmpeg和chromium两个大体积工具，缓存层提取时可能耗时久且无日志。建议拆分为两个独立的RUN指令，实现细粒度缓存：

# 安装ffmpeg
RUN apt-get update && \
    apt-get install -y --no-install-recommends ffmpeg && \
    apt-get clean && rm -rf /var/lib/apt/lists/*

# 安装chromium并创建软链
RUN apt-get update && \
    apt-get install -y --no-install-recommends chromium && \
    ln -s /usr/bin/chromium /usr/bin/google-chrome && \
    apt-get clean && rm -rf /var/lib/apt/lists/*

拆分后单个缓存层体积更小，提取速度更快，且修改其中一个依赖不会导致整个大缓存层失效。

3. 指定专用缓存存储，提升缓存读写速度 #

默认Kaniko使用Cloud Build的通用缓存桶，可指定专用的GCS存储桶或Artifact Registry仓库作为缓存存储，减少资源竞争：
在Kaniko步骤的args中追加（二选一）：

# 使用Artifact Registry作为缓存仓库
- --cache-repo=${_LOCATION}-docker.pkg.dev/$PROJECT_ID/${_REPOSITORY}/kaniko-cache

或

# 使用GCS存储桶作为缓存目录
- --cache-dir=gcs://your-custom-cache-bucket/kaniko-cache

4. 优化Yarn缓存，加速依赖安装 #

为Yarn配置持久化缓存，避免每次构建重复下载依赖：
在Dockerfile中添加Yarn缓存配置：

ENV YARN_CACHE_FOLDER=/usr/local/share/yarn-cache
RUN mkdir -p $YARN_CACHE_FOLDER

然后在Kaniko步骤的args中追加缓存挂载参数：

- --mount=type=cache,target=/usr/local/share/yarn-cache

5. 升级Cloud Build机器配置 #

默认Cloud Build机器资源有限，可在配置中指定更高性能的机器类型，提升构建和缓存处理速度：
在options中添加：

options:
  default_logs_bucket_behavior: REGIONAL_USER_OWNED_BUCKET
  machineType: E2_HIGHCPU_8

内容的提问来源于stack exchange，提问作者Uri