跨GCP项目Dataflow读取BigQuery数据时遇403权限错误排查

为什么会触发403错误？ #

你遇到的核心问题是：Dataflow的ReadFromBigQuery默认会在Dataflow作业所在的项目（即Dest项目）创建BigQuery查询作业，而非你查询的Source项目。

虽然你已经给服务账号授予了Dest项目的BigQuery Admin角色，但仍可能有以下几个原因导致权限报错：

• 权限未生效：GCP的IAM权限变更通常需要1-5分钟的同步时间，刚添加的权限可能还没生效，建议等待片刻后重试。
• 服务账号未正确配置：检查Dataflow作业启动时是否指定了正确的服务账号（通过--service_account_email参数），如果作业使用的是默认的Dataflow服务账号而非你授权的那个，自然会没有权限。
• 组织/项目级限制：如果你的组织有强制的IAM政策（比如限制bigquery.jobs.create权限的使用），或者Dest项目有VPC网络的访问限制，可能会覆盖你授予的角色权限。

为什么ReadFromBigQuery不在Source项目运行？ #

这是BigQuery的查询机制决定的：查询作业的归属、计费和权限检查，默认绑定的是发起查询的项目，而不是数据所在的项目。Dataflow作为发起者，默认会用自己所在的项目（Dest）作为BQ查询的"计费项目"，所以查询作业会创建在Dest项目下。

如果你想让查询作业在Source项目运行，可以在ReadFromBigQuery的配置中显式指定project参数为Source项目，示例代码如下：

beam.io.ReadFromBigQuery(
    query='SELECT * FROM `source.logging.endpoints`',
    project='source-project-id',  # 这里指定Source项目ID
    use_standard_sql=True
)

这样配置后，查询作业会在Source项目创建，此时需要确保服务账号拥有：

• Source项目的bigquery.jobs.create权限
• Source项目中目标表的bigquery.tables.getData权限

内容的提问来源于stack exchange，提问作者snark17