GCP：如何通过Airflow访问受服务账号限制的BigQuery表

方案一：复用现有定时查询的权限能力 #

既然现有的定时查询已经能访问受限表XX，可以让Airflow直接触发这些作业，无需自己获取表权限：

• 用Airflow的BigQueryHook调用BigQuery Jobs API，触发已有的定时查询（定时查询本质是预配置的BigQuery作业）
• 或者使用BigQueryExecuteQueryOperator执行和定时查询相同的复制SQL，切换到原定时查询使用的服务账号（通过Airflow连接配置指定该服务账号密钥）
• 把所有原定时查询的触发逻辑整合到一个Airflow DAG中，统一设置调度周期、监控运行状态

方案二：给Airflow服务账号申请最小权限 #

如果权限管控允许，直接给Airflow使用的服务账号添加受限表的只读权限：

• 在GCP IAM中，给Airflow服务账号授予roles/bigquery.dataViewer权限（仅限XX表所在的数据集或具体表，遵循最小权限原则）
• 同时确保该账号拥有roles/bigquery.jobUser权限，用于执行表复制作业
• 用Airflow的BigQueryCopyJobOperator编写复制逻辑，将XX表直接复制到UAT环境，把多个复制任务编排到同一个DAG中，替代原有的多个定时查询

方案三：借助BigQuery数据传输服务（DTS） #

利用BigQuery内置的数据传输服务处理权限隔离，Airflow只负责触发和监控：

• 在GCP控制台配置DTS任务，设置从XX表到UAT表的自动复制（提前给DTS服务账号配置好XX表的访问权限）
• 在Airflow中使用DataTransferServiceStartTransferRunOperator（或通过GoogleCloudBaseHook调用DTS API）触发这些传输任务
• 将所有DTS任务的触发逻辑整合到一个Airflow DAG中，统一管理调度和运行监控

内容的提问来源于stack exchange，提问作者user12345