如何在GitLab CI作业中缓存Conda环境以缩短执行时间？

问题场景 #

当前使用的.gitlab-ci.yml配置如下：

image: continuumio/miniconda3:latest

before_script:
  - conda env create -f environment.yml
  - conda activate py3p10 
  - export MY_PROJECT_ROOT=$PWD
  - export PYTHONPATH+=:$PWD
tests:
  stage: test
  script:
    - pytest tests -W ignore::DeprecationWarning

由于environment.yml包含约30个依赖包，每次推送分支都要重新下载安装，耗时约10分钟。虽然查到GitLab官方仅支持缓存virtualenv，且Stack Overflow高赞回答不推荐缓存Conda，但仍希望实现环境缓存，将作业耗时压缩至约20秒。

可行解决方案 #

方案一：直接缓存Conda环境目录 #

Conda环境在continuumio/miniconda3镜像中默认存放在/opt/conda/envs/，我们可以直接缓存这个目录，同时用environment.yml的哈希值作为缓存键，确保依赖变更时才重建环境。

修改后的.gitlab-ci.yml：

image: continuumio/miniconda3:latest

cache:
  key:
    files:
      - environment.yml  # 依赖文件变更时自动更新缓存
  paths:
    - /opt/conda/envs/py3p10/  # 缓存目标环境目录

before_script:
  # 先检查环境是否存在，不存在才执行创建命令
  - conda info --envs | grep -q py3p10 || conda env create -f environment.yml
  - conda activate py3p10 
  - export MY_PROJECT_ROOT=$PWD
  - export PYTHONPATH+=:$PWD

tests:
  stage: test
  script:
    - pytest tests -W ignore::DeprecationWarning

方案二：预构建自定义Docker镜像 #

如果缓存目录存在不稳定问题，更彻底的方式是提前把所有Conda依赖打包进Docker镜像，推送到GitLab容器注册表，CI作业直接使用该镜像。

1. 编写Dockerfile：

FROM continuumio/miniconda3:latest

COPY environment.yml .
RUN conda env create -f environment.yml
# 自动激活环境
RUN echo "conda activate py3p10" >> ~/.bashrc
# 把环境的bin目录加入PATH，确保命令可直接调用
ENV PATH /opt/conda/envs/py3p10/bin:$PATH

2. 构建并推送镜像到GitLab容器注册表：

docker build -t registry.gitlab.com/你的项目路径/conda-env:latest .
docker push registry.gitlab.com/你的项目路径/conda-env:latest

3. 修改CI配置使用自定义镜像：

image: registry.gitlab.com/你的项目路径/conda-env:latest

before_script:
  - export MY_PROJECT_ROOT=$PWD
  - export PYTHONPATH+=:$PWD

tests:
  stage: test
  script:
    - pytest tests -W ignore::DeprecationWarning

注意事项 #

• 缓存目录时要确认镜像中Conda环境的实际路径，continuumio/miniconda3的默认路径是/opt/conda/envs/，不要写错。
• 用environment.yml作为缓存键的一部分，能避免依赖变更后仍使用旧缓存的问题。
• 自定义镜像方案稳定性更高，适合依赖变更不频繁的项目，能把作业耗时压缩到最低。

内容的提问来源于stack exchange，提问作者acampove