如何通过dbt从Google Sheet创建BigQuery外部表？无直接权限可行吗？

1. 是否可以通过dbt实现？ #

完全可以。dbt的dbt-bigquery插件支持通过external配置类型创建BigQuery外部表，其中就包含Google Sheet作为数据源的场景。

2. YML文件中URI的配置位置 #

需要在模型的YML配置里，嵌套在config -> external -> options层级下，用uris参数指定Google Sheet的链接。同时还要配合format: GOOGLE_SHEETS等必要参数完成配置。

示例配置如下：

models:
  - name: google_sheet_external_table
    description: "从Google Sheet同步数据的BigQuery外部表"
    config:
      materialized: external
      location: "US" # 对应你的BigQuery数据集地域
      external:
        options:
          format: GOOGLE_SHEETS
          # 替换为你的Google Sheet链接，注意要包含gid参数指定工作表
          uris: ["https://docs.google.com/spreadsheets/d/your_sheet_unique_id/edit#gid=0"]
          skip_leading_rows: 1 # 如果Sheet首行是表头，设置为1跳过
          sheet_range: "Sheet1!A1:Z" # 可选，指定读取的单元格范围
    columns:
      - name: user_id
        data_type: integer
      - name: user_name
        data_type: string
      - name: register_date
        data_type: date
      # 按Sheet实际列补充字段定义

3. 无直接BigQuery建表权限的解决方案 #

dbt创建外部表本质上还是会调用BigQuery的表创建API，因此必须确保dbt使用的身份（你的个人账号或服务账号）拥有以下权限：

• 目标BigQuery数据集上的bigquery.tables.create权限（或更宽泛的BigQuery Data Editor角色）
• Google Sheet的访问权限：需要将dbt身份对应的邮箱（比如服务账号邮箱）共享到目标Sheet，授予至少查看权限

如果当前账号没有建表权限，你可以：

• 联系BigQuery数据集管理员，请求分配上述必要权限
• 让管理员使用具备权限的账号运行你的dbt模型，完成外部表创建
• 若使用dbt Cloud，确保项目关联的服务账号已配置好对应权限

内容的提问来源于stack exchange，提问作者colintobing