GCE实例绑定自定义服务账户未生效导致BigQuery鉴权失败

问题根因 #

GCE的实例级API访问范围（OAuth Scopes）与服务账户的IAM权限是两套独立的访问控制机制：

• 服务账户的IAM权限决定了账户本身可以操作哪些GCP资源
• 实例级的OAuth Scopes是实例层面的权限上限，哪怕服务账户本身有权限，实例发起的API请求也不能超出Scope允许的范围

你收到的Missing required OAuth scope错误直接指向实例Scope配置缺失，你目前的创建命令只绑定了自定义服务账户，没有显式指定BigQuery相关的访问Scope，因此触发了鉴权失败。

解决方案 #

1. 新建实例时直接配置Scope

在你的原gcloud创建命令中添加--scopes参数即可，修改后的命令如下：

#!/bin/sh
gcloud compute instances create-with-container gcp-scrape \
    --machine-type="e2-micro" \
    --boot-disk-size=10 \
    --container-image="gcr.io/my_project/gcp_scrape:latest" \
    --container-restart-policy="on-failure" \
    --zone="us-west1-a" \
    --service-account gcp-scrape@my_project.iam.gserviceaccount.com \
    --scopes https://www.googleapis.com/auth/bigquery \
    --preemptible

如果你的业务需要全云平台API访问权限，可以把Scope值替换为https://www.googleapis.com/auth/cloud-platform；如果需要调用多个GCP API，可以在--scopes后用逗号分隔添加多个Scope值。

2. 已创建实例修改Scope

如果实例已经创建完成，可以按如下步骤修改：

• 先停止运行中的实例
• 执行命令更新服务账户与Scope：

gcloud compute instances set-service-account gcp-scrape \
    --zone us-west1-a \
    --service-account gcp-scrape@my_project.iam.gserviceaccount.com \
    --scopes https://www.googleapis.com/auth/bigquery

• 重启实例后配置即可生效

额外检查项 #

• 确认自定义服务账户本身已经绑定了BigQuery的对应IAM权限，例如BigQuery 数据编辑者、BigQuery 作业用户等，匹配你的业务读写需求
• 你之前用默认服务账户在GUI手动选择授权范围，本质就是在配置实例级的OAuth Scopes，和上述命令行加--scopes的效果完全一致

内容的提问来源于stack exchange，提问作者anddt