BigQuery MERGE时USING子句不支持EXTERNAL_QUERY联邦查询怎么解决

方案1：直接调整MERGE语句语法（最低改造成本） #

报错的根本原因是BigQuery要求USING子句后的子查询必须以SELECT/WITH关键字开头，你直接把EXTERNAL_QUERY放在子查询第一层不符合语法规则，只需要在外层嵌套一层SELECT * FROM即可正常运行：

MERGE bigquery_dataset.bigquery_table TARGET
USING (
    SELECT * FROM EXTERNAL_QUERY(
        "projects/company-co/locations/us/connections/company",
        "SELECT * FROM postgres_schema.postgres_table"
    )
) SOURCE
ON TARGET.id = SOURCE.id
WHEN MATCHED THEN ...
WHEN NOT MATCHED BY TARGET THEN ...
WHEN NOT MATCHED BY SOURCE THEN ...

如果需要对PostgreSQL侧拉取的数据做过滤、类型转换等预处理，也可以直接在这层SELECT里完成，减少后续MERGE的计算量。

方案2：先把联邦数据缓存为临时表再做MERGE（适合数据量较大的场景） #

如果你的PostgreSQL源表数据量超过10G，或者同一份数据要在多个逻辑中复用，可以先把跨源拉取的数据存为BigQuery会话临时表，再执行MERGE操作，能避免重复调用联邦查询拉取数据，性能更稳定，也方便提前校验跨源拉取的数据正确性：

-- 第一步：拉取PostgreSQL数据到临时表
CREATE TEMP TABLE temp_postgres_data AS
SELECT * FROM EXTERNAL_QUERY(
    "projects/company-co/locations/us/connections/company",
    "SELECT * FROM postgres_schema.postgres_table"
);

-- 第二步：用临时表作为源执行MERGE
MERGE bigquery_dataset.bigquery_table TARGET
USING temp_postgres_data SOURCE
ON TARGET.id = SOURCE.id
WHEN MATCHED THEN ...
WHEN NOT MATCHED BY TARGET THEN ...
WHEN NOT MATCHED BY SOURCE THEN ...

临时表会在当前会话结束后自动清理，不会占用额外存储配额。

方案3：增量同步PostgreSQL到BigQuery原生表（适合高频同步场景） #

如果你需要定期执行这类跨源合并操作，建议用Datastream把Cloud SQL for PostgreSQL的数据增量同步到BigQuery原生表，后续直接对两个BigQuery原生表执行MERGE即可，不需要每次跑任务都走跨源查询，延迟更低、稳定性更好，也能避免联邦查询的配额限制。

内容的提问来源于stack exchange，提问作者user2491463