如何优化Docker多阶段构建以加快node_modules复制速度？

我正在优化Node.js应用的Docker多阶段构建，核心目标是缩短node_modules的复制耗时。目前从构建阶段复制node_modules到其他阶段的步骤耗时超过20秒，严重拖慢了整体构建速度。

当前Dockerfile #

# First stage: Install dependencies 
FROM node:18 AS deps 
WORKDIR /app 
COPY package.json yarn.lock ./ 
RUN yarn install --frozen-lockfile

#Second stage: Build the app
FROM node:18 AS builder 
WORKDIR /app 
COPY --from=deps /app/node_modules ./node_modules 
COPY . . 
RUN yarn build

#Final stage: Production image
FROM node:18 AS runner 
WORKDIR /app 
COPY --from=builder /app/node_modules ./node_modules 
COPY --from=builder /app/dist ./dist 
CMD ["node", "dist/index.js"]

遇到的问题 #

• COPY --from=deps /app/node_modules ./node_modules步骤耗时过长（>20s）
• 原本以为node_modules在deps阶段安装完成后，跨阶段复制会很快，但实际并非如此
• 已经尝试过三种优化方法：复制前压缩node_modules、配置YARN_CACHE_FOLDER优化缓存、用rsync替代COPY命令，但均未取得明显改善

疑问 #

1. 为何多阶段构建中复制node_modules耗时这么久？
2. 有没有更快的跨阶段传输node_modules的方法？
3. 使用绑定挂载或构建缓存能否解决这个问题？

问题解答 #

1. 为什么复制node_modules耗时久？

node_modules目录包含大量小文件（通常上万级），Docker的COPY命令是逐个文件处理的，小文件密集场景下，文件系统的元数据操作（创建目录、修改权限等）会成为瓶颈，导致耗时剧增。另外，如果Docker守护进程和构建上下文不在同一存储介质（比如远程构建或使用网络存储），传输延迟会进一步放大这个问题。

2. 更快的跨阶段传输方法

• 拆分依赖层级：
  区分生产依赖和开发依赖，在deps阶段拆分安装，减少复制的文件总量：

  # 安装生产依赖
  FROM node:18 AS deps-prod
  WORKDIR /app
  COPY package.json yarn.lock ./
  RUN yarn install --frozen-lockfile --production
  
  # 安装全量依赖用于构建
  FROM node:18 AS deps-dev
  WORKDIR /app
  COPY package.json yarn.lock ./
  RUN yarn install --frozen-lockfile
  

  后续builder阶段使用deps-dev的node_modules，runner阶段仅复制deps-prod的node_modules，大幅减少传输文件数。

• 使用COPY --link特性：
  Docker 23.0+支持实验性的COPY --link，它会直接将源层的文件链接到目标镜像，而非物理复制，速度几乎瞬时。修改复制命令：

  COPY --link --from=deps /app/node_modules ./node_modules
  

  需确保Docker守护进程开启features: buildkit（Docker Desktop默认已启用）。

• 打包后传输：
  在deps阶段将node_modules打包成tar包，复制后再解压，减少单个文件的操作次数：

  FROM node:18 AS deps
  WORKDIR /app
  COPY package.json yarn.lock ./
  RUN yarn install --frozen-lockfile && tar -cf node_modules.tar node_modules
  
  FROM node:18 AS builder
  WORKDIR /app
  COPY --from=deps /app/node_modules.tar ./
  RUN tar -xf node_modules.tar && rm node_modules.tar
  

3. 绑定挂载或构建缓存的作用

• 构建缓存：Docker默认会缓存COPY package.json yarn.lock和RUN yarn install步骤，只要这两个文件未修改，deps阶段不会重新执行。但缓存命中仅能避免重新安装依赖，跨阶段复制node_modules的操作仍会执行，无法解决小文件传输的本质瓶颈，只能在一定程度上缩短耗时。
• 绑定挂载：仅适合开发阶段临时使用，生产构建绝对不能采用——本地依赖可能与容器环境不一致，会破坏镜像的可移植性，也无法解决CI/CD环境下的构建耗时问题。

内容的提问来源于stack exchange，提问作者Bako