能否在GCP Dataform中执行联邦查询？配置及权限咨询

可以在GCP Dataform中执行针对CloudSQL的联邦查询，你遇到的"无法找到连接"错误通常由代码语法问题、配置不匹配或权限缺失导致，以下是具体解决步骤：

1. 修正代码语法错误 #

你的代码中存在单引号语法错误：第二个查询字符串末尾多了一个单引号，这会导致解析失败。修正后的代码如下：

config {
  type: "table",
} 

SELECT
*
FROM
  EXTERNAL_QUERY("projects/my-project/locations/my-location/connections/external-connection-test",
  "SELECT * from example_table")

2. 必要配置检查 #

• 区域一致性：确保Dataform仓库关联的BigQuery数据集，与外部连接external-connection-test处于同一区域（即my-location），联邦查询要求连接与目标数据集区域匹配。
• 服务账号关联：在Dataform仓库的设置页面，确认当前使用的服务账号是你用于BigQuery联邦查询的账号，或拥有同等权限的账号。

3. 所需权限配置 #

给Dataform使用的服务账号添加以下权限：

• 针对外部连接资源的bigquery.connections.use权限，资源路径为projects/my-project/locations/my-location/connections/external-connection-test。
• 针对目标BigQuery数据集的bigquery.dataEditor或更高权限，用于创建输出表。
• （可选）确认外部连接本身已配置CloudSQL的访问权限（你在BigQuery中能正常运行，这部分大概率已配置，但可检查连接的服务账号是否拥有cloudsql.client权限）。

4. 验证步骤 #

• 先用Dataform的服务账号在BigQuery控制台执行相同的联邦查询，确认权限无问题。
• 可先将代码中的type: "table"改为type: "view"测试，避免创建表的额外权限干扰，确认查询能返回数据后再改回表类型。

内容的提问来源于stack exchange，提问作者ChrisBlom