GitLab CI多隐藏Job的variables段合并需求及技术求助

问题背景 #

需要合并多个引入文件中隐藏Job的variables段，重复变量以最后引入的为准，但尝试以下方法均遇到限制：

• 锚点（Anchors）无法跨引入文件使用
• !reference不能在variables段中多次引用
• 此前误以为extends只会采用最后一个配置，不会合并变量

解决方案1：利用extends的变量合并特性 #

GitLab CI的extends对variables的处理逻辑是合并所有变量，重复变量以后续extends的Job配置为准，并非完全覆盖。通过创建一个汇总隐藏Job来整合所有目标隐藏Job的变量，即可实现需求。

修正后的各隐藏Job文件 #

hidden_1.yml：

.hidden_1:
  variables:
    toto1: toto1

hidden_2.yml：

.hidden_2:
  variables:
    toto2: toto2

hidden_3.yml：

.hidden_3:
  variables:
    toto2: toto3

最终result.yml配置 #

include:
  - 'hidden_1.yml'
  - 'hidden_2.yml'
  - 'hidden_3.yml'

# 汇总所有隐藏Job的变量：extends顺序决定覆盖优先级，后面的Job会覆盖前面的重复变量
.hidden_combined:
  extends:
    - .hidden_1
    - .hidden_2
    - .hidden_3

Job_test:
  stage: test
  extends: .hidden_combined
  script: echo "$toto1, $toto2"

效果说明 #

Job_test最终的variables会合并为：

variables:
  toto1: toto1
  toto2: toto3

执行脚本会输出：toto1, toto3，符合重复变量以最后引入的为准的需求。

备选方案：动态脚本设置变量（需依赖yq） #

如果因GitLab版本限制无法使用extends的合并特性，可通过before_script结合yq工具动态读取并设置变量（需确保CI Runner已安装yq）：

include:
  - 'hidden_1.yml'
  - 'hidden_2.yml'
  - 'hidden_3.yml'

Job_test:
  stage: test
  before_script:
    # 按顺序读取各隐藏Job的变量并导出，后面的会覆盖前面的重复变量
    - eval "$(echo "$CI_JOB_YAML" | yq -r '.hidden_1.variables | to_entries | .[] | "export \(.key)=\(.value)"')"
    - eval "$(echo "$CI_JOB_YAML" | yq -r '.hidden_2.variables | to_entries | .[] | "export \(.key)=\(.value)"')"
    - eval "$(echo "$CI_JOB_YAML" | yq -r '.hidden_3.variables | to_entries | .[] | "export \(.key)=\(.value)"')"
  script: echo "$toto1, $toto2"

内容的提问来源于stack exchange，提问作者Boat