GitLab Runner K8s执行器流水线随机终止无明确错误排查求助

一、已知Bug匹配 #

你的GitLab CE 14.2.7和Runner Helm Chart 0.46.2（对应Runner核心版本约14.2.x）属于较旧版本，存在几个已知的K8s执行器相关Bug可能匹配你的场景：

• K8s执行器因资源限制（如内存不足）触发OOMKill，但日志未明确标记，表现为任务被"canceled"；
• Runner与GitLab API通信时因限流或超时，导致GitLab主动终止任务，伴随疑似非根因的403 Forbidden错误；
• Helm Chart的pod模板配置缺陷，导致helper容器异常退出，进而中断build容器任务。

二、进一步调试步骤 #

1. 提升Runner日志级别 #

修改Helm values.yaml，将Runner日志级别设为debug，获取更细粒度的交互细节：

runners:
  logLevel: debug

重新部署后，查看Runner pod日志，重点关注：

• 任务取消前与GitLab API的请求/响应内容；
• K8s API调用的错误信息；
• helper/build容器的启动、运行、终止事件。

2. 排查K8s资源与事件 #

• 检查Runner pod模板的资源限制，确认build/helper容器的内存、CPU请求是否足够（尤其是添加--debug后Helm输出量增大，可能触发内存不足）：

runners:
  kubernetes:
    podTemplate:
      containers:
        - name: build
          resources:
            requests:
              memory: "1Gi"
              cpu: "500m"
            limits:
              memory: "2Gi"
              cpu: "1"

• 查看K8s事件日志，排查OOMKill或容器异常终止记录：

kubectl get events -n <runner-namespace> --sort-by='.metadata.creationTimestamp'

• 描述终止的作业pod，查看容器状态细节：

kubectl describe pod <job-pod-name> -n <runner-namespace>

3. 验证Runner权限与GitLab API限流 #

• 确认Runner的ServiceAccount拥有足够权限（创建/删除pod、访问K8s API），可通过绑定cluster-admin角色临时测试，排除权限问题；
• 检查GitLab的CI/CD限流设置，确认Runner的请求未被GitLab API限流（403错误可能与此相关）；
• 调整Runner的request_concurrency参数，降低并发请求数，避免触发GitLab API限流：

runners:
  request_concurrency: 5

4. 简化流水线测试 #

将复杂流水线拆分为单个步骤逐一测试，比如先仅执行helm lint，再添加helm install --debug，定位是否为特定命令或步骤导致的终止；同时更换基础镜像（如从alpine改为ubuntu），排除镜像兼容性问题。

三、获取已终止容器日志的方法 #

1. 配置Pod保留策略 #

修改Helm values，设置失败的作业pod保留，以便事后查看日志：

runners:
  kubernetes:
    podRetention: "on-failure"
    terminationGracePeriodSeconds: 300

部署后，失败的pod会保留，可直接查看日志：

kubectl logs <job-pod-name> helper -n <runner-namespace>
kubectl logs <job-pod-name> build -n <runner-namespace>

2. 使用临时容器调试 #

若pod已终止但未被清理，可通过K8s临时容器attach到目标容器，查看内部日志文件（需K8s 1.16+版本支持）：

kubectl debug <job-pod-name> -it --image=busybox --target=helper -n <runner-namespace>
# 进入后查看日志，例如：
cat /var/log/helper.log

3. 检查GitLab作业日志备份 #

即使任务被取消，GitLab通常会保留已上传的部分作业日志，可在作业详情页的"Logs"标签页查看，部分场景下能获取终止前的关键输出。

四、版本升级建议 #

你的当前版本存在较多已知Bug，建议升级到GitLab CE 14.9+及对应的Runner Helm Chart版本（如0.56.x），多数K8s执行器的随机终止问题在后续版本中已被修复。

内容的提问来源于stack exchange，提问作者Yassine Bsf