如何取消GitLab重复流水线并保留最新？求高效解决方案

一、优先使用GitLab内置功能（无需自定义脚本） #

GitLab原生提供自动取消冗余流水线的功能，完全可以替代自定义脚本，且性能最优：

• 进入项目「Settings」→「CI/CD」→「General pipelines」
• 找到「Auto-cancel redundant pipelines」选项，勾选「Auto-cancel redundant pipelines for the same branch」
• 保存后，同一分支触发新流水线时，GitLab会自动取消该分支上所有正在运行的旧流水线，彻底避免资源浪费。

二、自定义脚本的优化方案（若需保留自定义逻辑） #

如果因特殊需求必须使用自定义脚本，可从以下维度大幅提升运行速度：

1. 更换轻量基础镜像 #

原脚本使用amazonlinux:2，需执行yum update和依赖安装，耗时极长。改用预装好curl、jq的轻量镜像，比如alpine:latest：

check_redundancy:
  stage: check_redundancy
  image: alpine:latest
  before_script:
    - apk add --no-cache curl jq  # 仅安装必要依赖，无冗余更新操作
  # 后续脚本逻辑

2. 精简脚本逻辑，减少不必要操作 #

• 移除无意义的if true; then包裹结构
• 通过jq直接筛选出需要取消的流水线，避免循环内的重复判断
• 仅保留关键日志输出，减少冗余打印

3. 优化API调用与批量处理 #

通过jq一次性过滤出符合条件的流水线ID，再用xargs并行执行取消请求，减少循环开销：

优化后的完整脚本：

check_redundancy:
  stage: check_redundancy
  image: alpine:latest
  before_script:
    - apk add --no-cache curl jq
  script:
    - |
      CURRENT_PIPELINE_ID=$CI_PIPELINE_ID
      # 调用API获取当前分支下、ID小于当前的运行中流水线
      CANCEL_PIPELINES=$(curl -s --header "PRIVATE-TOKEN: $CI_JOB_TOKEN" \
        "$CI_API_V4_URL/projects/$CI_PROJECT_ID/pipelines?ref=$CI_COMMIT_REF_NAME&status=running" \
        | jq -r --arg current_id "$CURRENT_PIPELINE_ID" '.[] | select(.id < ($current_id | tonumber)) | .id')
      
      if [[ -n "$CANCEL_PIPELINES" ]]; then
        echo "Cancelling redundant pipelines: $CANCEL_PIPELINES"
        # 并行取消目标流水线，限制进程数避免API限流
        echo "$CANCEL_PIPELINES" | xargs -I {} -P 5 curl -s --request POST \
          --header "PRIVATE-TOKEN: $CI_JOB_TOKEN" \
          "$CI_API_V4_URL/projects/$CI_PROJECT_ID/pipelines/{}/cancel"
      else
        echo "No redundant running pipelines found."
      fi
  rules:
    - when: always

4. 其他细节优化 #

• 给curl添加-s参数关闭冗余输出，提升执行效率
• 通过-P 5限制并行取消的进程数，避免触发GitLab API速率限制
• 移除tac反转列表的操作，因为仅需筛选ID小于当前的流水线，无需关注顺序

内容的提问来源于stack exchange，提问作者Mohab Mohamed