如何在多Job工作流中跨Job持久化node_modules与dist等构建产物？

完全可行，核心解决跨Job共享node_modules和dist的问题即可，主流CI工具（比如GitHub Actions、GitLab CI）都提供了成熟的产物传递/缓存机制，下面分步骤说明实现方式和优化方案：

一、核心实现思路 #

把原流程拆分为两个阶段的Job：

1. 基础构建Job：完成依赖安装、测试、代码打包，生成node_modules和dist后，将这两个目录作为构建产物上传到CI的临时存储
2. 并行Docker构建Job：三个镜像构建Job并行触发，先从临时存储下载node_modules和dist，再各自执行Docker构建命令

二、具体实现示例（以GitHub Actions为例） #

1. 基础构建Job #

jobs:
  build-and-test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      # 安装依赖（可配合缓存加速）
      - name: Install dependencies
        run: npm ci
        
      # 执行测试
      - name: Run tests
        run: npm test
        
      # 代码打包生成dist
      - name: Build code
        run: npm run build
        
      # 上传node_modules和dist作为构建产物
      - name: Upload build artifacts
        uses: actions/upload-artifact@v4
        with:
          name: build-output
          path: |
            node_modules/
            dist/

2. 并行Docker构建Job #

三个Docker Job都依赖build-and-test完成，并行执行：

build-docker-image-1:
    needs: build-and-test
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      # 下载基础构建的产物
      - name: Download build artifacts
        uses: actions/download-artifact@v4
        with:
          name: build-output
          path: .
          
      # 构建第一个Docker镜像
      - name: Build Docker image 1
        run: docker build -t my-image-1 -f Dockerfile.1 .

  build-docker-image-2:
    needs: build-and-test
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      - name: Download build artifacts
        uses: actions/download-artifact@v4
        with:
          name: build-output
          path: .
          
      - name: Build Docker image 2
        run: docker build -t my-image-2 -f Dockerfile.2 .

  build-docker-image-3:
    needs: build-and-test
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      - name: Download build artifacts
        uses: actions/download-artifact@v4
        with:
          name: build-output
          path: .
          
      - name: Build Docker image 3
        run: docker build -t my-image-3 -f Dockerfile.3 .

如果用GitLab CI，逻辑类似：用artifacts字段定义产物，后续Job通过dependencies关联基础Job即可。

三、更优替代方案 #

1. 缓存+产物结合优化：

   • 单独缓存node_modules（比如GitHub Actions的actions/cache），避免基础Job每次都重新安装依赖，加速构建
   • 仅将dist作为产物传递，因为node_modules可通过缓存复用，减少产物传输体积

2. Docker多阶段构建复用CI产物：

   • 调整Dockerfile为多阶段构建，直接将CI生成的dist复制到镜像中，无需在Docker构建阶段重新打包
   • 示例Dockerfile片段：

     FROM node:18-alpine AS builder
     WORKDIR /app
     COPY dist/ ./dist/
     # 后续构建镜像逻辑
     

3. 基础镜像预构建：

   • 如果三个Docker镜像都依赖相同的基础环境（比如相同的node版本、依赖包），可以先在基础Job中构建一个基础镜像，推送到镜像仓库，然后三个并行Job基于这个基础镜像构建，进一步减少重复工作

四、注意事项 #

• 确保产物上传/下载的路径一致，避免文件目录结构混乱
• 对于敏感内容，不要放到构建产物中，优先用缓存机制
• 并行Job的资源配置根据CI平台的配额调整，避免资源不足导致构建失败

内容的提问来源于stack exchange，提问作者Fares