GKE中GitLab Runner借助Workload Identity推送镜像到GCR报错排查
故障根因拆解
- 日志里的AWS凭据报错不是核心问题:Kaniko内置的鉴权模块会按全云厂商凭据链做顺序探测,运行时依次尝试读取AWS、Azure、GCP的本地凭据配置,读取AWS凭据失败时输出的提示属于冗余流程日志,和实际鉴权失败的原因完全无关。
- 核心故障本质:Kaniko进程没有加载到具备GCR推送权限的合法身份凭据,访问gcr.io时缺少有效鉴权头,被服务端返回401未授权错误。
- 最容易踩的配置偏差:之前手动创建的测试Pod能正常访问Workload Identity,不代表GitLab Runner自动生成的构建Pod也能用同样的身份。测试Pod是手动指定了绑定Workload Identity的K8s SA,但GitLab Runner默认生成的构建Pod会用Runner本身配置的默认SA,不会自动复用测试用的那个有权限的SA,这是同类问题最常见的触发点。
分步排查&修复方案
- 核对构建Pod实际使用的ServiceAccount
- 打开GitLab Runner对应的K8s executor配置,找到
rbac.service_name相关的配置项,确认构建Pod挂载的SA和之前验证Workload Identity的SA是同一个对象。 - 如果配置不一致,直接修改Runner配置,把构建Pod的默认SA指定为已经完成Workload Identity绑定、具备GCR推送权限的那个SA。
- 打开GitLab Runner对应的K8s executor配置,找到
- 验证构建Pod的身份连通性
- 在现有CI脚本的最开头插入连通性测试命令,确认构建Pod内可以正常访问GCP元数据服务,拿到绑定的SA身份:
curl -H "Metadata-Flavor: Google" "http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/email" - 命令输出如果是目标权限SA的邮箱,说明Workload Identity在当前Pod内是生效的;如果返回GKE节点的默认SA邮箱,说明SA绑定关系没正确加载,需要回头检查双向绑定配置。
- 在现有CI脚本的最开头插入连通性测试命令,确认构建Pod内可以正常访问GCP元数据服务,拿到绑定的SA身份:
- 修正Kaniko的鉴权配置
- Kaniko debug镜像默认不会主动触发GCP凭据拉取逻辑,需要提前给Kaniko配置针对gcr.io的空鉴权项,跳过通用凭据链的无效探测:
- 在执行kaniko构建命令之前,先在脚本中加入初始化配置的步骤,修改后的CI脚本参考:
script: - mkdir -p /kaniko/.docker && echo '{"auths":{"gcr.io":{}}}' > /kaniko/.docker/config.json - /kaniko/executor --verbosity debug --context $CI_PROJECT_DIR --dockerfile $CI_PROJECT_DIR/Dockerfile --destination gcr.io/myproject/test:test --cache=false - 配置完成后,Kaniko检测到gcr.io的鉴权配置为空时,会自动通过Pod内的GCP元数据接口拉取Workload Identity的临时访问凭据,完成GCR的鉴权流程。
避坑提示
- Workload Identity的绑定是双向生效的:既要在K8s侧的SA上添加对应GCP SA的注解,也要在GCP侧的SA上给K8s SA授予Workload Identity关联权限,只做单侧配置根本打不通身份链路。
- 不要被Kaniko输出的AWS凭据报错带偏排查方向,这类提示是固定的流程化日志,只要没有AWS资源访问需求,这类报错可以直接忽略。
- GitLab Runner的K8s executor如果不显式指定构建Pod的SA,所有任务都会自动用命名空间下的
defaultSA,哪怕已经给defaultSA配了Workload Identity注解,也要确认GCP侧的绑定配置是完整的,不要默认认为命名空间内所有Pod都会自动获得绑定的身份。
内容的提问来源于stack exchange,提问作者rubio
相关产品推荐
相关产品推荐

