Dataflow运行时读取关联Google Sheet的BigQuery外部表遇权限错误求助

错误根源 #

MAP_URLS_GSHEET是关联Google Sheet的BigQuery外部表，读取该表时BigQuery需要访问对应的Drive资源，但Dataflow作业使用的服务账号缺少Drive访问权限，导致报错Permission denied while getting Drive credentials。

解决方案（Dataflow场景专属） #

1. 确定Dataflow使用的服务账号 #

Dataflow作业默认使用项目的默认Compute Engine服务账号，格式为：[你的项目编号]-compute@developer.gserviceaccount.com。如果你的代码在google_cloud_options中指定了service_account_email，则以该指定账号为准。

2. 给服务账号分配Drive访问权限 #

有两种方式可选，按需选择：

• 方式一：针对单个Google Sheet授权
  打开关联的Google Sheet，点击右上角「共享」，输入服务账号的邮箱地址，赋予查看者权限，保存设置。
• 方式二：项目级IAM角色授权（批量场景）
  进入Google Cloud控制台的IAM页面，找到对应服务账号，添加Drive File Viewer角色（角色ID：roles/drive.reader），该角色允许服务账号访问所有共享给它的Drive文件。

3. 验证权限有效性 #

在本地使用服务账号的密钥文件执行BigQuery查询，确认权限正常：

# 设置服务账号密钥环境变量
export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"
# 执行查询
bq query --use_legacy_sql=false "SELECT cast(id as INT64) AS site_id, url FROM `my-project.my_dashboard.MAP_URLS_GSHEET`"

如果查询成功，说明权限配置正确，Dataflow作业即可正常运行。

4. 额外排查（若权限配置后仍报错） #

• 检查BigQuery外部表的externalDataConfiguration配置，确认googleSheetsOptions中的Sheet ID、范围等参数正确，且Sheet未被设置为「仅限内部共享」（除非服务账号属于同一组织）。
• 如果Dataflow作业运行在私有VPC中，需确保VPC配置了Cloud NAT，允许访问Google Drive的公共API端点（否则BigQuery无法调用Drive API获取数据）。

内容的提问来源于stack exchange，提问作者Trusha Sahu