调度触发流水线时独立任务无法执行的问题及需求

问题场景与根源 #

• 当流水线作业存在依赖关系，且被依赖作业带有执行条件时，会出现触发方式不一致导致的流水线运行失败：
  • 向master分支提交代码时，流水线可正常执行所有作业
  • 通过调度器触发流水线时，流水线无法运行
• 核心原因：job2依赖job1才能执行，但调度触发时job1因except: variables: - $CI_PIPELINE_SOURCE == "schedule"规则被跳过，job2因依赖缺失无法启动，最终导致整个流水线卡住

需求 #

让independent_job不受任何触发条件限制，无论流水线以分支提交、调度触发还是其他方式启动，该作业都能正常运行

修改后的配置方案 #

方案1：保证独立作业全局运行，同时让job2不受job1缺失影响 #

independent_job:
  stage: independent_job
  script:
    - echo "running a random job"
  # 移除分支与触发源限制，默认允许所有场景运行
  # 若需限制仅master分支运行但允许所有触发方式，可替换为：
  # only:
  #   refs:
  #     - master
  # rules:
  #   - when: always

job1:
  stage: job1
  script:
    - echo "this is job1"
  only:
    refs:
      - master
  except:
    variables:
      - $CI_PIPELINE_SOURCE == "schedule"

job2:
  stage: job2
  # 将job1设为可选依赖，即使job1不执行，job2仍能运行
  needs:
    - job: job1
      optional: true
  script:
    - echo "this is job2"
  only:
    refs:
      - master

方案2：保证独立作业全局运行，调度触发时跳过job2 #

如果调度触发时不需要运行job2，可以给job2添加对应的排除规则：

independent_job:
  stage: independent_job
  script:
    - echo "running a random job"

job1:
  stage: job1
  script:
    - echo "this is job1"
  only:
    refs:
      - master
  except:
    variables:
      - $CI_PIPELINE_SOURCE == "schedule"

job2:
  stage: job2
  needs:
    - job1
  script:
    - echo "this is job2"
  only:
    refs:
      - master
  except:
    variables:
      - $CI_PIPELINE_SOURCE == "schedule"

关键修改说明 #

1. independent_job的调整：移除原有的only: refs: - master限制后，该作业会在所有触发场景下自动运行；若需要保留master分支限制，可通过rules: - when: always确保该分支下所有触发方式都能执行该作业
2. job2的依赖处理：使用optional: true标记依赖作业，避免因被依赖作业不执行导致流水线中断；若调度场景不需要job2，直接给job2添加与job1一致的排除规则即可，此时调度触发时仅运行independent_job

内容的提问来源于stack exchange，提问作者suren