如何在AWS CodeBuild的多Docker镜像构建间缓存Go依赖

问题背景 #

在AWS CodeBuild中需依次构建service_a、service_b两个Docker容器，二者共用根目录下的go.mod、go.sum及vendors/modules.txt。当前Dockerfile仅从CodeBuild源复制代码目录后直接执行go build，未提前拉取依赖；且service_a构建完成后，其下载的共享依赖无法被service_b复用，导致两次构建重复拉取相同依赖，耗时冗余。

现有文件结构 #

DockerfileA（service_a） #

COPY go.mod /root/app
COPY go.sum /root/app

COPY service_a /root/app

WORKDIR /root/app/service_a
RUN go build service_a

DockerfileB（service_b，注意：原文件存在错误，需修正复制目录） #

COPY go.mod /root/app
COPY go.sum /root/app

# 修正：原代码错误复制了service_a，需改为service_b
COPY service_b /root/app

WORKDIR /root/app/service_b
RUN go build service_b

buildspec.yaml #

docker build -t service_a -f service_a/Dockerfile .
docker build -t service_b -f service_b/Dockerfile .

解决方案 #

以下三种方案均可实现跨镜像构建的依赖缓存，可根据场景选择：

方案1：构建共享依赖基础镜像 #

先构建一个包含所有Go依赖的基础镜像，service_a、service_b基于该镜像构建，依赖仅需拉取一次。

1. 新增Dockerfile.base（根目录下）：

# 选择对应版本的Golang镜像
FROM golang:1.21-alpine
WORKDIR /root/app
# 复制依赖文件并拉取所有依赖
COPY go.mod go.sum ./
RUN go mod download

2. 修改service_a、service_b的Dockerfile，基于基础镜像构建：

DockerfileA

FROM base-image:latest
COPY service_a /root/app/service_a
WORKDIR /root/app/service_a
RUN go build service_a

DockerfileB

FROM base-image:latest
COPY service_b /root/app/service_b
WORKDIR /root/app/service_b
RUN go build service_b

3. 更新buildspec.yaml，先构建基础镜像再构建服务镜像：

version: 0.2
phases:
  build:
    commands:
      - docker build -t base-image -f Dockerfile.base .
      - docker build -t service_a -f service_a/Dockerfile .
      - docker build -t service_b -f service_b/Dockerfile .
# 可选：启用CodeBuild本地缓存，保留Go模块目录，加速后续构建
cache:
  paths:
    - '/root/go/pkg/mod/**/*'

优势：依赖缓存逻辑清晰，只要go.mod/go.sum不变，基础镜像无需重新构建，后续服务镜像构建直接复用依赖层。

方案2：使用Docker BuildKit共享缓存卷 #

启用Docker BuildKit后，通过创建共享卷缓存Go模块目录，让两个镜像构建复用同一缓存。

1. 更新buildspec.yaml，启用BuildKit并配置共享缓存卷：

version: 0.2
env:
  variables:
    # 启用Docker BuildKit
    DOCKER_BUILDKIT: 1
phases:
  build:
    commands:
      # 创建共享缓存卷，用于存储Go模块
      - docker volume create go-mod-cache
      # 构建service_a，挂载缓存卷到Go模块目录
      - docker build --mount=type=volume,target=/go/pkg/mod,source=go-mod-cache -t service_a -f service_a/Dockerfile .
      # 构建service_b，复用同一缓存卷
      - docker build --mount=type=volume,target=/go/pkg/mod,source=go-mod-cache -t service_b -f service_b/Dockerfile .

2. 保留原Dockerfile（需修正DockerfileB的复制目录错误）即可，BuildKit会自动在缓存卷中存储依赖，后续构建直接复用。

优势：无需额外维护基础镜像，通过Docker原生缓存机制实现跨构建共享，适合快速迭代场景。

方案3：启用CodeBuild本地缓存 #

直接利用CodeBuild的本地缓存功能，缓存Go模块目录，让整个CodeBuild项目的所有构建步骤复用依赖。

1. 更新buildspec.yaml，配置本地缓存路径：

version: 0.2
cache:
  paths:
    # 缓存Go模块目录，适配GOPATH默认路径
    - '/root/go/pkg/mod/**/*'
phases:
  build:
    commands:
      # 提前在CodeBuild环境中拉取依赖，缓存到本地目录
      - go mod download
      # 构建镜像时，通过--mount挂载本地缓存到容器内的Go模块目录
      - docker build --mount=type=bind,source=/root/go/pkg/mod,target=/go/pkg/mod -t service_a -f service_a/Dockerfile .
      - docker build --mount=type=bind,source=/root/go/pkg/mod,target=/go/pkg/mod -t service_b -f service_b/Dockerfile .

优势：缓存持久化到CodeBuild的本地缓存空间，即使多次触发构建（如代码提交），只要依赖未变，就无需重新拉取。

注意事项 #

• 必须修正DockerfileB中错误复制service_a的问题，改为复制service_b目录，否则service_b代码缺失会导致构建失败。
• 若使用go mod vendor，可将vendor目录复制到镜像中，进一步减少构建时的依赖拉取操作，但需确保vendor目录已更新。

内容的提问来源于stack exchange，提问作者QWER ASDF