如何避免在GitLab CI的每个Job中重复安装Python依赖

针对每个Job重复执行pip install导致的耗时问题，有以下几种通用解决思路：

1. 启用依赖缓存（最推荐） #

几乎所有主流CI/CD工具（GitLab CI、GitHub Actions、Jenkins等）都支持缓存机制，核心是把pip的缓存目录或项目虚拟环境目录缓存起来，仅当依赖清单（如requirements.txt）变更时才重新安装。

示例（GitLab CI）： #

# 配置缓存路径和触发更新的缓存键
cache:
  paths:
    - ~/.cache/pip/  # pip的全局缓存目录
    - venv/          # 项目虚拟环境目录
  key:
    files:
      - requirements.txt  # 仅当requirements.txt变更时更新缓存

before_script:
  - python -m venv venv
  - source venv/bin/activate
  - pip install --upgrade pip
  - pip install -r requirements.txt

示例（GitHub Actions）： #

steps:
  - uses: actions/checkout@v4

  - name: Cache pip dependencies
    uses: actions/cache@v3
    with:
      path: |
        ~/.cache/pip
        venv
      key: ${{ runner.os }}-pip-${{ hashFiles('**/requirements.txt') }}
      restore-keys: |
        ${{ runner.os }}-pip-

  - name: Install dependencies
    run: |
      python -m venv venv
      source venv/bin/activate
      pip install --upgrade pip
      pip install -r requirements.txt

缓存生效后，除首次运行或依赖清单变更外，后续Job会直接复用已缓存的依赖，大幅缩短安装时间。

2. 使用预构建Docker镜像 #

将项目依赖提前打包到Docker镜像中，CI Job直接使用该镜像，无需在Job内重复安装依赖。

步骤： #

1. 编写包含依赖安装的Dockerfile：

FROM python:3.10-slim

# 设置工作目录
WORKDIR /app

# 复制依赖清单并安装
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# 复制项目代码（可根据需要，也可在CI中挂载代码）
COPY . .

2. 构建镜像并推送到私有/公有镜像仓库：

docker build -t your-registry/your-project:latest .
docker push your-registry/your-project:latest

3. 在CI配置中直接使用该镜像：

# GitLab CI示例
job1:
  image: your-registry/your-project:latest
  script:
    - python your_script.py

这种方式完全避免了Job内的依赖安装步骤，适合依赖变动不频繁的项目。

3. 共享全局依赖目录（仅限固定Runner场景） #

如果你的CI任务都在同一个固定Runner上串行执行，可以将依赖安装到Runner的全局目录，后续Job直接复用该目录的虚拟环境。

示例： #

before_script:
  # 检查全局虚拟环境是否存在，不存在则创建并安装依赖
  - if [ ! -d "/opt/venv/my-project" ]; then python -m venv /opt/venv/my-project; fi
  - source /opt/venv/my-project/bin/activate
  # 可选：每次检查依赖是否有更新（按需开启）
  - pip install --upgrade pip
  - pip install -r requirements.txt

注意：这种方式局限性较大，仅适用于Runner固定且权限可控的场景，若Runner更换或被其他项目占用，可能导致依赖冲突。

4. 拆分依赖清单分层安装 #

将项目依赖拆分为稳定基础依赖和频繁变动依赖，分别放在不同的清单文件中（如base_requirements.txt和requirements.txt），对基础依赖单独缓存，减少重复安装范围。

示例： #

cache:
  paths:
    - ~/.cache/pip/
    - venv/
  key:
    files:
      - base_requirements.txt  # 仅当基础依赖变更时更新缓存

before_script:
  - python -m venv venv
  - source venv/bin/activate
  - pip install --upgrade pip
  - pip install -r base_requirements.txt
  - pip install -r requirements.txt  # 仅安装变动的依赖

这种方式适合基础依赖长期稳定、仅业务依赖频繁变动的项目。

内容的提问来源于stack exchange，提问作者Pavel Kikin