如何为单体仓库中多Docker化Node.js项目高效安装npm依赖

问题概述 #

我维护一个包含10个包的单体仓库，每个包都配有独立Dockerfile与npm install命令，单次安装耗时约10分钟，全量构建需100分钟，效率极低。

现有思路是构建一个包含全量仓库依赖的基础镜像，仅需15分钟即可完成依赖安装并复用给所有项目，但该镜像因包含全量node_modules，体积高达5GB，过于臃肿。

核心疑问 #

疑问1：是否存在npm命令或成熟工具，可列出package.json的所有依赖（含peer dependencies），以便从基础镜像中复制必要的node_modules目录，在缩减镜像体积的同时复用公共依赖？ #

疑问2：能否将Node.js项目打包为仅包含实际运行代码的bundle？目前前端已通过Vite/CRA实现，但Node.js项目因pg-native等二进制文件无法完成打包。若能打包为5MB左右的JS文件，再单独安装问题依赖将是最优解，但未找到相关实现教程。 #

已尝试的无效方案 #

• 精简依赖：经depcheck三次确认无法精简
• 仅安装生产依赖：仅节省少量空间，无显著效果
• 多阶段构建：仅前端镜像可移除node_modules，对Node.js项目无效
• 使用node:x-alpine镜像：已在使用，仅节省500MB，相较于3-4GB的node_modules无足轻重

需求背景 #

使用Buildx的docker-container驱动，该驱动的sending tarball阶段速度与镜像大小直接相关，且GHA缓存的上传下载也受缓存体积影响。若将镜像从4GB压缩至600MB，构建速度可提升6-7倍，同时降低云服务成本。

解决方案 #

针对疑问1：精准提取依赖并复用基础镜像 #

1. 用npm命令提取依赖列表
   npm 7+支持--include-peers参数，可结合npm ls获取包含peer依赖的生产依赖列表，再用jq过滤出依赖名称：

   npm ls --production --json --include-peers | jq -r '.dependencies | keys[]' > required-deps.txt
   

   在单个包的Dockerfile中，从基础镜像复制依赖后删除无关目录：

   # 基础镜像：包含全量node_modules的镜像
   FROM base-monorepo-image AS deps
   
   FROM node:20-alpine
   WORKDIR /app
   COPY --from=deps /app/node_modules ./node_modules
   COPY required-deps.txt .
   # 删除不需要的依赖目录
   RUN cd ./node_modules && ls | grep -vxFf /app/required-deps.txt | xargs rm -rf
   

   注意：需处理嵌套依赖问题，若依赖层级复杂，建议结合pnpm的workspace特性优化。

2. 切换到pnpm实现依赖隔离复用
   pnpm的node_modules采用硬链接结构，能高效复用依赖。在基础镜像中用pnpm安装全量依赖后，单个包构建时仅安装自身所需依赖：

   FROM base-pnpm-monorepo AS deps
   FROM node:20-alpine
   RUN npm install -g pnpm
   WORKDIR /app
   COPY --from=deps /app/pnpm-lock.yaml ./
   COPY --from=deps /app/.pnpm-store ./.pnpm-store
   COPY ./packages/your-package/package.json ./packages/your-package/
   # 仅安装当前包的生产依赖
   RUN pnpm install --filter your-package --prod
   

针对疑问2：Node.js项目打包（兼容二进制依赖） #

1. 使用pkg打包含二进制依赖的项目
   pkg可将Node.js项目打包为独立可执行文件，支持包含二进制模块。在package.json中配置二进制文件路径：

   {
     "pkg": {
       "scripts": "dist/**/*.js",
       "assets": "node_modules/pg-native/**/*"
     }
   }
   

   执行打包命令：

   pkg . --targets node20-alpine-x64
   

   打包后的可执行文件包含所有运行所需内容，无需额外安装依赖，体积可控制在几十MB内。

2. esbuild打包+手动保留二进制依赖
   用esbuild快速打包代码，二进制依赖单独复制到运行镜像：

   # 构建阶段
   FROM node:20-alpine AS builder
   WORKDIR /app
   COPY package.json package-lock.json ./
   RUN npm install
   COPY . .
   # 打包代码为单个bundle
   RUN npx esbuild src/index.js --bundle --platform=node --outfile=dist/index.js
   
   # 运行阶段
   FROM node:20-alpine
   WORKDIR /app
   COPY --from=builder /app/dist/index.js ./
   # 复制二进制依赖目录
   COPY --from=builder /app/node_modules/pg-native ./node_modules/pg-native
   # 安装剩余生产依赖（忽略脚本避免重新编译二进制）
   COPY package.json package-lock.json ./
   RUN npm install --prod --ignore-scripts
   CMD ["node", "index.js"]
   

   这种方式将代码打包为轻量bundle，仅保留必要的二进制依赖，镜像体积可大幅缩减。

内容的提问来源于stack exchange，提问作者Bence Mányoki