解决Kubernetes CronJob所用服务账号的云存储权限问题

问题背景 #

我有一个用于备份数据库文件并上传至GCS存储桶的Kubernetes CronJob，执行流程如下：

1. 从Secret获取数据库密码，传递给数据库Pod内的备份脚本执行备份
2. 获取生成的备份文件名，通过kubectl cp复制到CronJob Pod的文件系统
3. 使用gsutil cp将备份文件上传至GCS存储桶

已确认的有效信息：

• 备份文件已成功复制到CronJob Pod（通过ls命令验证）
• gsutil ls能正常列出目标存储桶，说明服务账号可正常调用gsutil工具

但执行gsutil cp backup gs://my-bucket时出现403权限拒绝错误，且已为CronJob所用服务账号授予Storage Admin和Storage Object Admin权限，存储桶始终为空。

关联CronJob配置 #

apiVersion: batch/v1
kind: CronJob
metadata:
  name: database-backup
  namespace: dev
spec:
  schedule: "*/1 * * * *"
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 1
  jobTemplate:
    spec:
      template:
        spec:
          containers:
            - name: database-backup
              image: google/cloud-sdk:latest
              command: [ "sh", "-c" ]
              args:
                - |
                  DB_PWD=$(kubectl get secret database-secret -o jsonpath="{.data.password}" | base64 --decode)
                  kubectl exec -i database-0 /bin/bash -- ./backup_database.sh $DB_PWD
                  BACKUP_FILE=$(kubectl exec database-0 -- find / -name "backup-*" -type f 2>/dev/null | cut -c 2-)
                  kubectl cp database-0:$BACKUP_FILE backup
                  ls
                  gsutil ls
                  gsutil -D cp backup gs://my-bucket
                  rm -f backup
                  kubectl exec -i database-0 -- rm -f $BACKUP_FILE

          restartPolicy: OnFailure
---
# cluster role stuff

排查步骤 #

1. 确认服务账号绑定与权限生效情况 #

• 查看CronJob Pod实际使用的服务账号：

  kubectl describe pod <cronjob-pod-name> -n dev
  

  重点检查Service Account字段是否为你授予权限的目标账号，如果未指定serviceAccountName，Pod会使用namespace的default服务账号，需确认该默认账号的权限配置。
• 验证ClusterRole/ClusterRoleBinding是否正确关联目标服务账号，避免出现账号名、namespace拼写错误。

2. 检查存储桶IAM权限规则 #

• 登录GCP控制台查看目标存储桶的IAM配置：
  • 排查是否存在拒绝（Deny）规则，这类规则优先级高于允许规则，可能覆盖你配置的Storage Admin权限。
  • 确认是否启用Uniform Bucket Level Access（统一存储桶级别访问），如果启用，对象级权限会失效，需确保服务账号在桶级别拥有storage.objects.create等写入权限。
• 本地测试服务账号权限：使用该服务账号的密钥文件执行以下命令，排除Kubernetes环境外的权限问题：

  gsutil cp test-file gs://my-bucket
  

3. 排查gsutil命令细节 #

• 在gsutil cp前添加调试命令，确认文件状态：

  pwd && ls -l backup && echo "File content preview:" && head -10 backup
  

  检查文件是否存在、是否可读、路径是否正确。
• 修正上传命令语法：确保目标路径末尾加斜杠，避免将文件命名为存储桶名导致冲突：

  gsutil cp backup gs://my-bucket/
  

• 分析gsutil -D的调试日志，重点关注：
  • 请求使用的服务账号邮箱是否正确
  • 返回的具体权限缺失信息（比如是否明确提示storage.objects.create权限不足）

4. 验证Kubernetes环境的权限传递 #

• 如果使用GCP Workload Identity：确认Pod的ServiceAccount已与GCP服务账号建立绑定，且绑定状态为ACTIVE。
• 如果使用密钥文件挂载：检查Pod是否挂载了包含服务账号密钥的Secret，且环境变量GOOGLE_APPLICATION_CREDENTIALS指向正确的密钥文件路径。
• 测试网络连通性：在Pod内执行curl https://storage.googleapis.com，确认能正常访问GCS API端点。

5. 排查备份文件获取流程 #

• 在kubectl cp后添加命令验证BACKUP_FILE变量：

  echo "Backup file path from DB pod: $BACKUP_FILE"
  

  确认是否获取到正确的文件路径，避免复制空文件或错误文件。

内容的提问来源于stack exchange，提问作者Ahmad Traboulsi