如何以编程方式解析并处理多文件结构的.gitlab-ci.yml配置

需求概述 #

需要编程解析包含多文件引入（include关键字）、reference-tags和anchors的复杂GitLab CI配置，合并所有依赖配置后，将自定义的dockerfile属性转换为标准的image配置，最终通过子流水线运行转换后的配置。

子流水线基础配置 #

转换后的配置通过以下子流水线结构执行：

generate-gitlab-ci-config:
  script: my-gitlab-ci-config-generator.sh > generated-gitlab-ci.yml
  artifacts:
    paths:
      - generated-gitlab-ci.yml

child-pipeline:
  trigger:
    include:
      - artifact: generated-gitlab-ci.yml
        job: generate-gitlab-ci-config
  needs:
    - job: generate-gitlab-ci-config
      artifacts: false

具体转换规则 #

将带有自定义dockerfile属性的作业：

test.app1:
  dockerfile: ".gitlab-ci/dockerfiles/dynamic-ci/node-gyp-glob-git.Dockerfile"
  variables:
    NPM_WORKSPACE: "apps/app1"
  script:
    - npm -w "${NPM_WORKSPACE}" run test

转换为两个独立作业：

1. 构建镜像的作业，复用预定义模板
2. 原作业修改为使用动态构建的镜像，并添加依赖关系

转换后结果：

build.dynamic-ci-image.node-gyp-glob-git:
  extends: .template.dynamic-ci-image-builder
  variables:
    DOCKERFILE: .gitlab-ci/dockerfiles/dynamic-ci/node-gyp-glob-git.Dockerfile
    
test.app1:
  image: $DYNAMIC_CI_IMAGE
  variables:
    NPM_WORKSPACE: "apps/app1"
  script:
    - npm -w "${NPM_WORKSPACE}" run test
  needs:
    - job: build.dynamic-ci-image.node-gyp-glob-git
      artifacts: true

实现思路（JavaScript伪代码） #

// 加载并解析所有include的CI配置
const ciConfig = loadGitlabCiConfig("./custom.gitlab-ci.yml")
const ciConfigResolved = ciConfig.resolveIncludes()

const convertedCiConfig = {}

// 遍历所有作业配置
for (const jobName in ciConfigResolved) {
    const jobConfig = ciConfigResolved[jobName]
    // 检查作业是否包含自定义dockerfile属性
    if (jobConfig.dockerfile) {
        const dockerfilePath = jobConfig.dockerfile
        // 从Dockerfile路径提取名称，用于构建作业名
        const dockerfileName = dockerfilePath.split('/').pop().split('.').slice(0, -1).join('.')
        const buildJobName = `build.dynamic-ci-image.${dockerfileName}`
        
        // 构建依赖项配置
        const needsEntry = {
            job: buildJobName,
            artifacts: true
        }
        
        // 生成修改后的原作业配置：替换dockerfile为image，添加依赖
        const updatedJobConfig = {
            ...jobConfig,
            image: "$DYNAMIC_CI_IMAGE",
            needs: jobConfig.needs ? [...jobConfig.needs, needsEntry] : [needsEntry]
        }
        delete updatedJobConfig.dockerfile
        
        // 添加到转换后的配置中
        convertedCiConfig[jobName] = updatedJobConfig
        convertedCiConfig[buildJobName] = {
            extends: ".template.dynamic-ci-image-builder",
            variables: { DOCKERFILE: dockerfilePath }
        }
    } else {
        // 无自定义属性的作业直接保留原配置
        convertedCiConfig[jobName] = jobConfig
    }
}

工具选型疑问 #

是否可以使用GitLab官方的gitlab_ci_yaml_parser来完成配置的加载与解析？我不懂Go语言，有没有不需要编写Go代码的使用方式？

内容的提问来源于stack exchange，提问作者Forivin