如何为BigQueryToPostgresOperator传递跨GCP项目的project_id？

云原生阿岚

2026-7-1

跨GCP项目使用BigQueryToPostgresOperator的配置方法

核心解决思路

要查询另一GCP项目的BigQuery视图并同步到CloudSQL Postgres，核心是在BigQuery查询语句中直接指定目标项目ID，同时确保Composer的服务账号具备跨项目访问权限。

1. 在查询语句中明确目标项目ID

BigQuery的资源路径格式为[project_id].[dataset_id].[view_id]，你只需要在SELECT语句里完整写出目标视图的跨项目路径即可，示例：

SELECT * FROM `target-gcp-project.target-dataset.target-view`

注意用反引号包裹路径，避免项目/数据集/视图名称包含特殊字符时出现语法错误。

2. 确保服务账号的跨项目权限

Composer运行时使用的服务账号（默认是Composer环境的服务账号）需要具备：

目标GCP项目的roles/bigquery.dataViewer权限，用于读取BigQuery视图
当前GCP项目的CloudSQL Postgres写入权限（比如roles/cloudsql.client结合数据库用户权限）

3. BigQueryToPostgresOperator的完整示例

以下是DAG中的算子配置示例，直接在sql参数中传入带目标项目ID的查询语句：

from airflow import DAG
from airflow.providers.google.cloud.transfers.bigquery_to_postgres import BigQueryToPostgresOperator
from datetime import datetime

default_args = {
    'start_date': datetime(2024, 1, 1),
}

with DAG('bq_to_postgres_cross_project', default_args=default_args, schedule_interval='@daily') as dag:
    transfer_task = BigQueryToPostgresOperator(
        task_id='transfer_bq_view_to_postgres',
        sql='SELECT * FROM `target-gcp-project.target-dataset.target-view`',
        postgres_conn_id='cloudsql_postgres_conn',  # 提前在Airflow配置的CloudSQL Postgres连接ID
        destination_table='postgres_schema.target_table',  # Postgres目标表
        write_disposition='WRITE_TRUNCATE',  # 根据需求选择写入模式：追加/覆盖等
    )