如何基于日志内容自动重跑GitLab中因Terraform锁失败的CI作业？

方案1：作业内自校验重跑（最轻量化） #

直接在Terraform执行脚本里加入循环校验逻辑，捕获锁失败的错误日志后自动重试，无需依赖额外CI作业或API调用。

示例Shell脚本：

MAX_RETRIES=3
RETRY_DELAY=60  # 每次重试间隔60秒，给GitLab端缓冲时间

for attempt in $(seq 1 $MAX_RETRIES); do
  echo "=== Terraform apply 第 $attempt/$MAX_RETRIES 次尝试 ==="
  # 执行Terraform并保存日志到文件
  terraform apply -auto-approve 2>&1 | tee terraform_run.log
  
  # 匹配锁获取失败的关键词（根据实际日志调整）
  if grep -q "Error acquiring the state lock" terraform_run.log; then
    echo "锁获取失败，$RETRY_DELAY 秒后重试..."
    sleep $RETRY_DELAY
  else
    echo "Terraform执行成功，退出循环"
    exit 0
  fi
done

echo "已达最大重试次数，执行失败"
exit 1

方案2：CI/CD跨作业触发重跑（适合复杂场景） #

拆分两个CI作业：一个执行Terraform，另一个作为"错误检查器"，依赖前者的日志，通过GitLab API触发重跑。

示例.gitlab-ci.yml配置：

stages:
  - run-terraform
  - check-and-retry

terraform-exec:
  stage: run-terraform
  script:
    - terraform init
    - terraform apply -auto-approve 2>&1 | tee terraform_output.log
  artifacts:
    paths:
      - terraform_output.log
    when: always  # 无论成功失败都保留日志

retry-on-lock-failure:
  stage: check-and-retry
  script:
    - |
      if grep -q "Error acquiring the state lock" terraform_output.log; then
        # 调用GitLab API重跑terraform-exec作业
        curl --request POST \
          --header "PRIVATE-TOKEN: $GITLAB_API_TOKEN" \
          "$CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/$CI_JOB_ID/retry"
      fi
  when: on_failure  # 仅当前面作业失败时执行
  variables:
    GITLAB_API_TOKEN: $GITLAB_API_TOKEN  # 提前在CI/CD变量中配置带api权限的令牌

方案3：自托管Runner钩子（全局生效） #

如果使用自托管GitLab Runner，可通过post_build钩子脚本全局检查作业日志，匹配错误后自动触发重跑，适合多个项目复用逻辑。

示例post_build钩子脚本：

#!/bin/bash
# 放置在Runner的hooks目录下，需配置Runner权限

# 读取当前作业日志
JOB_LOG=$(curl --header "PRIVATE-TOKEN: $GITLAB_API_TOKEN" \
  "$CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/$CI_JOB_ID/log")

# 匹配目标错误关键词
if echo "$JOB_LOG" | grep -q "Error acquiring the state lock"; then
  # 触发重跑请求
  curl --request POST \
    --header "PRIVATE-TOKEN: $GITLAB_API_TOKEN" \
    "$CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/$CI_JOB_ID/retry"
fi

注意：需在Runner配置文件中指定钩子路径，并确保Runner环境能访问GitLab API。

内容的提问来源于stack exchange，提问作者Jack-of-some