Docker构建缓存优化咨询：CMake项目CI快速编译方案探讨

针对CMake项目在CI中全量编译耗时久的问题，以下几种方案可以高效利用Docker缓存实现增量构建，同时避免手动维护的弊端：

方案1：按模块拆分Docker分层，利用原生缓存机制 #

核心思路是优先缓存稳定、少变的内容，将CMake配置、公共依赖、基础模块先构建，后续仅复制修改的业务模块，复用前面的缓存层。

Dockerfile示例 #

FROM gcc:12 as builder
WORKDIR /project

# 1. 先复制最稳定的CMake配置与公共头文件
COPY CMakeLists.txt ./
COPY cmake/ ./cmake/
COPY src/include ./src/include

# 预生成CMake构建文件，这一步缓存会复用，除非CMake配置变更
RUN mkdir build && cd build && cmake ..

# 2. 构建稳定工具模块util
COPY src/util ./src/util
WORKDIR /project/build
RUN make -j$(nproc) util

# 3. 构建业务模块app1（仅当app1代码变更时重新编译）
COPY src/app1 ./src/app1
RUN make -j$(nproc) app1

# 多阶段构建：将产物复制到轻量镜像（可选，适合CD场景）
FROM debian:bookworm-slim
COPY --from=builder /project/build/bin/app1 /usr/local/bin/
COPY --from=builder /project/build/bin/util /usr/local/bin/

关键说明 #

• 先复制CMake配置文件，确保cmake生成构建文件的层只会在配置变更时失效。
• 每个模块单独COPY并构建，Docker会自动复用未变更的层，修改app1时不会重编译util。
• CMake会自动检测新增/修改的源码文件，无需手动调整构建命令。

方案2：用Docker BuildKit缓存编译目录（最灵活） #

Docker BuildKit支持挂载缓存目录，直接复用之前的编译产物，无需手动拆分分层，适合模块较多、依赖关系复杂的项目。

Dockerfile示例 #

# 启用BuildKit（必须放在文件开头）
# syntax=docker/dockerfile:1.4

FROM gcc:12 as builder
WORKDIR /project

# 挂载build目录为缓存，保留已编译的目标文件
RUN --mount=type=cache,target=/project/build \
    mkdir -p build && cd build && cmake ..

# 构建util模块
COPY src/util ./src/util
RUN --mount=type=cache,target=/project/build \
    cd build && make -j$(nproc) util

# 构建app1模块
COPY src/app1 ./src/app1
RUN --mount=type=cache,target=/project/build \
    cd build && make -j$(nproc) app1

# 后续多阶段构建同上

关键说明 #

• CI中需要设置环境变量DOCKER_BUILDKIT=1启用BuildKit。
• 缓存目录会在多次构建之间保留，即使重新触发构建，已编译的模块产物不会丢失，仅编译修改的部分。
• 无需手动维护分层结构，BuildKit自动处理缓存复用。

方案3：拆分模块为独立镜像，实现跨构建复用 #

如果模块间依赖稳定（比如util是基础库，很少变更），可以将其单独构建为镜像，后续业务模块直接复用预编译的产物。

Dockerfile示例 #

# 第一步：构建util模块镜像
FROM gcc:12 as util-builder
WORKDIR /project
COPY CMakeLists.txt ./
COPY cmake/ ./cmake/
COPY src/include ./src/include
COPY src/util ./src/util
RUN mkdir build && cd build && cmake .. && make -j$(nproc) util

# 第二步：构建app1模块，依赖util的预编译产物
FROM gcc:12 as app1-builder
WORKDIR /project
# 复制util的二进制、库文件与头文件
COPY --from=util-builder /project/build/bin/util /usr/local/bin/
COPY --from=util-builder /project/build/lib/libutil.a /usr/local/lib/
COPY --from=util-builder /project/src/include /usr/local/include/

# 构建app1
COPY CMakeLists.txt ./
COPY cmake/ ./cmake/
COPY src/app1 ./src/app1
RUN mkdir build && cd build && cmake .. && make -j$(nproc) app1

# 最终镜像
FROM debian:bookworm-slim
COPY --from=app1-builder /project/build/bin/app1 /usr/local/bin/
COPY --from=util-builder /project/build/bin/util /usr/local/bin/

关键说明 #

• util模块的镜像会被Docker缓存，只有当util代码变更时才重新构建。
• app1构建时直接使用util的预编译产物，无需重新编译util，大幅节省时间。
• 适合模块依赖关系清晰、基础模块变更频率低的项目。

通用注意事项 #

• 确保CMakeLists.txt中每个模块都是独立的add_executable或add_library目标，这样make可以单独指定目标构建。
• 添加.dockerignore文件，排除.git、build、临时文件等，避免不必要的文件触发缓存失效。
• CI中尽量使用相同的基础镜像版本，避免因镜像更新导致缓存失效。

内容的提问来源于stack exchange，提问作者Steven Lu