如何在GitLab CI中收集多作业的CI_JOB_URL并汇总？

这个场景我之前帮别人解决过，不用缓存或者工件的话，最省心的办法就是借助GitLab自带的API，在job4里直接拉取当前流水线的作业信息，把你要的三个job的URL捞出来就行。具体实现方案如下：

核心思路是让job4等待前三个作业完成后，通过GitLab的流水线作业列表API，直接获取同流水线内目标作业的访问URL，全程不需要缓存或工件传递变量。

完整流水线配置示例 #

job1:
  tags: windows
  script:
    - echo "Job 1 running on Windows"
    # 这里不需要额外处理URL，后续job4会通过API自动获取

job2:
  tags: linux
  script:
    - echo "Job 2 running on Linux"

job3:
  tags: macOS
  script:
    - echo "Job 3 running on macOS"

job4:
  needs: [job1, job2, job3]  # 确保job4在三个作业全部完成后才启动
  script:
    # 1. 定义需要收集URL的作业名称列表
    - target_jobs=("job1" "job2" "job3")
    # 2. 调用GitLab API获取当前流水线的所有作业数据
    - |
      curl --silent --header "JOB-TOKEN: $CI_JOB_TOKEN" \
        "$CI_API_V4_URL/projects/$CI_PROJECT_ID/pipelines/$CI_PIPELINE_ID/jobs" > jobs.json
    # 3. 用jq解析JSON，提取每个目标作业的URL并导出为环境变量
    - |
      for job in "${target_jobs[@]}"; do
        job_url=$(jq -r --arg job_name "$job" '.[] | select(.name == $job_name) | .web_url' jobs.json)
        echo "✅ Collected URL for $job: $job_url"
        export "${job}_URL=$job_url"
      done
    # 4. 验证收集到的结果，后续可以按需使用这些URL
    - echo ""
    - echo "All collected job URLs:"
    - echo "job1 URL: $job1_URL"
    - echo "job2 URL: $job2_URL"
    - echo "job3 URL: $job3_URL"
  before_script:
    # 根据runner的基础镜像调整安装命令，这里以Debian/Ubuntu为例
    - apt-get update && apt-get install -y jq

关键细节说明 #

• needs关键字：强制job4在job1、job2、job3全部成功完成后才运行，避免API拉取到未完成或失败的作业数据。
• GitLab预定义变量：全程使用GitLab自动提供的变量，无需手动配置：
  • CI_JOB_TOKEN：作业自带的令牌，拥有访问当前项目流水线作业的权限，安全且无需额外申请。
  • CI_API_V4_URL：GitLab API的基础地址（比如https://gitlab.com/api/v4）。
  • CI_PROJECT_ID：当前项目的唯一ID。
  • CI_PIPELINE_ID：当前流水线的ID，确保只拉取本次流水线的作业数据。
• jq工具：用于解析API返回的JSON数据，大部分Linux镜像默认没有，所以需要在before_script里安装。如果是Alpine镜像，把安装命令改成apk add --no-cache jq即可。

替代方案（无法安装jq时） #

如果job4的runner环境没法安装jq，也可以用Python来解析JSON（大部分环境都会自带Python）：

job4:
  needs: [job1, job2, job3]
  script:
    - |
      curl --silent --header "JOB-TOKEN: $CI_JOB_TOKEN" \
        "$CI_API_V4_URL/projects/$CI_PROJECT_ID/pipelines/$CI_PIPELINE_ID/jobs" > jobs.json
    - |
      python3 -c "
      import json
      with open('jobs.json') as f:
          jobs = json.load(f)
      target_jobs = {'job1', 'job2', 'job3'}
      for job in jobs:
          if job['name'] in target_jobs:
              print(f'export {job["name"]}_URL={job["web_url"]}')
      " > job_urls.sh
    - source job_urls.sh
    - echo "job1 URL: $job1_URL"
    - echo "job2 URL: $job2_URL"
    - echo "job3 URL: $job3_URL"

这种方案完全符合你的需求，不用缓存或工件，纯靠GitLab自身的能力就能完成URL收集。

内容的提问来源于stack exchange，提问作者Sankaranarayanan G