GitLab CI中build与test阶段分离运行问题及配置需求

问题根源 #

你遇到的build和test阶段独立运行的问题，核心原因是两个阶段的触发规则不一致：

• build-docker仅在合并请求，或推送时满足Dockerfile存在且Dockerfile/DESCRIPTION变更的条件下触发；
• tests未配置rules，会默认在所有推送/合并请求事件中触发。

这就导致当推送满足build条件的代码时，会同时生成两个独立流水线：一个包含build-docker，另一个仅包含tests。

满足需求的配置方案 #

以下配置实现你的两个目标：1. 推送/合并请求触发流水线；2. 仅当Dockerfile存在且Dockerfile/DESCRIPTION变更时触发流水线，同时确保build和test在同一个流水线中按顺序运行。

stages:
  - build
  - test

variables:
  DOCKER_IMAGE_NAME: $CI_REGISTRY_IMAGE/qc-dev:$CI_COMMIT_SHA
  DOCKER_IMAGE_LATEST: $CI_REGISTRY_IMAGE:latest

build-docker:
  stage: build
  image: docker:24.0.5
  tags:
    - autoscale
  services:
    - name: docker:24.0.5-dind
      alias: dockerhost
  variables:
    DOCKER_TLS_CERTDIR: ""
    DOCKER_HOST: tcp://dockerhost:2375/
    DOCKER_DRIVER: overlay2
  before_script:
    - apk update && apk add --no-cache git
    - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" "$CI_REGISTRY"
  script:
    - docker pull $DOCKER_IMAGE_LATEST || true
    - docker build --build-arg BUILDKIT_INLINE_CACHE=1 --cache-from $DOCKER_IMAGE_LATEST --tag $DOCKER_IMAGE_NAME --tag $DOCKER_IMAGE_LATEST .
    - docker push $DOCKER_IMAGE_NAME
    - docker push $DOCKER_IMAGE_LATEST
  rules:
    # 合并请求时触发（需存在Dockerfile）
    - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'
      exists:
        - Dockerfile
    # 推送至main/develop/feature分支时触发（需存在Dockerfile且目标文件变更）
    - if: '$CI_PIPELINE_SOURCE == "push" && ($CI_COMMIT_BRANCH == "main" || $CI_COMMIT_BRANCH == "develop" || $CI_COMMIT_BRANCH =~ /^feature\/.*/)'
      exists:
        - Dockerfile
      changes:
        - Dockerfile
        - DESCRIPTION

tests:
  stage: test
  tags:
    - autoscale
  image: $DOCKER_IMAGE_LATEST
  script:
    - echo "Running unit tests..."
    - Rscript -e 'devtools::test(stop_on_failure = TRUE)'
    - echo "Unit tests completed."
  # 绑定到build-docker作业，确保在同一流水线中按顺序运行
  needs:
    - build-docker
  # 与build-docker使用完全一致的触发规则，避免单独触发test流水线
  rules:
    - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'
      exists:
        - Dockerfile
    - if: '$CI_PIPELINE_SOURCE == "push" && ($CI_COMMIT_BRANCH == "main" || $CI_COMMIT_BRANCH == "develop" || $CI_COMMIT_BRANCH =~ /^feature\/.*/)'
      exists:
        - Dockerfile
      changes:
        - Dockerfile
        - DESCRIPTION

关键调整说明 #

1. 用needs替代dependencies：needs明确将tests与build-docker绑定到同一流水线，确保test仅在build成功后运行，彻底解决独立流水线问题；
2. 统一触发规则：给tests添加与build-docker完全一致的rules，确保只有当build触发时，test才会运行；
3. 细化分支匹配：仅在你的工作流涉及的分支（main/develop/feature/*）触发流水线，避免无用的流水线运行；
4. 统一exists条件：确保只有仓库中存在Dockerfile时，才会触发流水线。

关于“是否需要每次运行build”的疑问 #

分两种场景判断：

• 必须运行build的情况：如果代码变更涉及Dockerfile（比如基础镜像、系统依赖调整）或DESCRIPTION（R包依赖更新），必须重新构建镜像，否则测试环境与生产环境不一致，会导致测试结果不可靠；
• 可跳过build的情况：如果代码变更不涉及上述两个文件，可以复用之前推送的latest镜像，此时可以优化配置，让build仅在文件变更时运行，test则在所有推送/合并请求时运行：

# 优化后的build-docker规则：仅在文件变更时运行
build-docker:
  # ... 其他配置不变
  rules:
    - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'
      exists:
        - Dockerfile
      changes:
        - Dockerfile
        - DESCRIPTION
    - if: '$CI_PIPELINE_SOURCE == "push" && ($CI_COMMIT_BRANCH == "main" || $CI_COMMIT_BRANCH == "develop" || $CI_COMMIT_BRANCH =~ /^feature\/.*/)'
      exists:
        - Dockerfile
      changes:
        - Dockerfile
        - DESCRIPTION

tests:
  # ... 其他配置不变
  rules:
    # 合并请求时，无论是否有文件变更都触发
    - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'
      exists:
        - Dockerfile
    # 推送时，无论是否有文件变更都触发
    - if: '$CI_PIPELINE_SOURCE == "push" && ($CI_COMMIT_BRANCH == "main" || $CI_COMMIT_BRANCH == "develop" || $CI_COMMIT_BRANCH =~ /^feature\/.*/)'
      exists:
        - Dockerfile
  # 设置build-docker为可选依赖：有build时等待，无build时直接运行
  needs:
    - job: build-docker
      optional: true

这种优化既保证了环境一致性，又能减少不必要的镜像构建，提升流水线运行效率。

内容的提问来源于stack exchange，提问作者Shriniwas