使用服务账号上传大文件至GCS时遭遇Gcloud权限错误

问题原因 #

大文件上传时，gcloud默认采用**可恢复上传（分片上传）**机制，该流程需要调用storage.buckets.get接口获取存储桶元数据（如存储类、分片配置等），但你的服务账号仅拥有「Storage Object Admin」角色，该角色不包含storage.buckets.get权限，导致鉴权失败；而小文件采用单块上传，无需此权限，因此能正常完成。

解决方案 #

方案1：补充服务账号的存储桶读取权限 #

给服务账号添加包含storage.buckets.get权限的角色，可选两种方式：

• 直接添加Storage Viewer角色：该角色包含storage.buckets.get等基础存储桶读取权限，适合快速解决问题。
• 创建自定义角色（最小权限原则）：
  1. 在GCP控制台的「IAM与管理员」→「角色」页面，创建新角色。
  2. 添加权限storage.buckets.get并保存角色。
  3. 将该自定义角色绑定到目标服务账号。

方案2：强制使用单块上传（避免分片） #

修改gcloud storage mv命令，添加--no-resumable参数，强制禁用可恢复上传，大文件也用单块方式上传，无需存储桶get权限：

gcloud storage mv file.dump.gz gs://my-bucket/ --no-resumable

注意：单块上传的文件大小上限为5TB，若备份文件超过此限制，建议优先使用方案1。

内容的提问来源于stack exchange，提问作者raven