跨项目使用DataProc BigQuery Connector的权限问题排查

首先，这个报错的核心很明确：你的Spark Job使用的Project A默认Compute Engine服务账号（me-compute@developer.gserviceaccount.com）没有访问Project B中BigQuery表ABC:DEF.ghi的权限。虽然你自己是两个项目的所有者，但Job是通过服务账号运行的，服务账号的权限和你的个人账号完全分离，得单独配置。

下面是具体的解决步骤：

1. 确认目标服务账号身份 #

报错里的me-compute@developer.gserviceaccount.com是Project A的默认Compute Engine服务账号，格式通常是[PROJECT_A_ID]-compute@developer.gserviceaccount.com，这个账号归属于Project A，所以默认没有Project B的任何资源访问权限。

2. 给服务账号添加Project B的BigQuery权限 #

你需要在Project B的控制台里给这个服务账号授予必要的BigQuery权限：

• 打开Project B的BigQuery控制台，定位到目标表ABC:DEF.ghi
• 点击表的「权限」选项，添加成员：输入me-compute@developer.gserviceaccount.com
• 给这个账号分配BigQuery Data Viewer角色（这个角色包含bigquery.tables.get、bigquery.tables.dataRead等访问表所需的核心权限）
• 如果你需要让这个服务账号访问Project B下的多个BigQuery表，也可以直接在Project B的IAM页面给该账号添加「BigQuery Data Viewer」角色，这样权限会覆盖整个项目的BigQuery资源，更高效

3. 验证权限是否生效 #

为了确保权限配置正确，你可以用gcloud命令快速验证：

# 激活目标服务账号（需要先下载该账号的密钥文件）
gcloud auth activate-service-account me-compute@developer.gserviceaccount.com --key-file=/path/to/your/service-account-key.json

# 尝试查看目标表信息
bq show ABC:DEF.ghi

如果命令能正常返回表的元数据，说明权限已经生效。

4. 额外注意事项 #

• 如果你在DataProc集群中使用了自定义服务账号而不是默认的Compute Engine账号，那要确认报错里的账号是否和你配置的一致，别加错了权限
• 确保你的BigQuery Connector版本兼容当前Spark和DataProc版本，不过这个报错是明确的权限问题，版本问题概率很低，但如果权限配置后仍报错，可以检查Spark配置中是否正确指定了服务账号密钥（比如通过spark.hadoop.google.cloud.auth.service.account.json.keyfile参数指定密钥路径）

内容的提问来源于stack exchange，提问作者TheRealJimShady