使用Terraform基于现有BigQuery表Schema创建表遇Provider报错求解决

1. 修正Provider配置 #

错误提示hashicorp/google-beta不支持google_bigquery_dataset数据源，优先使用正式的hashicorp/google Provider，BigQuery的核心资源和数据源在正式Provider中均已支持。配置示例：

terraform {
  required_providers {
    google = {
      source  = "hashicorp/google"
      version = "~> 4.0" # 指定兼容版本
    }
  }
}

provider "google" {
  project = var.project_id
  region  = var.region # 按需指定区域
}

2. 修正数据源逻辑 #

原代码中google_bigquery_table数据源仅支持单个表查询，无法获取数据集内所有表。需替换为复数形式的google_bigquery_tables数据源获取表列表，再逐个拉取表的Schema详情：

步骤1：获取数据集内所有表ID #

data "google_bigquery_tables" "existing_tables" {
  dataset_id = google_bigquery_dataset.example_dataset.dataset_id
  project    = var.project_id
}

步骤2：逐个拉取表的Schema详情 #

data "google_bigquery_table" "existing_table_details" {
  for_each = toset(data.google_bigquery_tables.existing_tables.table_ids)
  
  dataset_id = google_bigquery_dataset.example_dataset.dataset_id
  project    = var.project_id
  table_id   = each.key
}

3. 基于Schema创建新表 #

直接复用原表的Schema字符串创建新表（若需自定义字段筛选，可保留原dynamic逻辑，示例中直接复用完整Schema）：

resource "google_bigquery_dataset" "example_dataset" {
  dataset_id = var.dataset_id
  project    = var.project_id
}

resource "google_bigquery_table" "dynamic_tables" {
  for_each = data.google_bigquery_table.existing_table_details

  dataset_id = google_bigquery_dataset.example_dataset.dataset_id
  project    = var.project_id
  table_id   = "copied_${each.key}" # 给新表加前缀/后缀，避免与原表重名

  # 直接复用原表的Schema字符串
  schema = each.value.schema
}

关键说明 #

• 原代码错误核心：google_bigquery_table数据源必须指定table_id参数，无法直接获取全量表列表；同时Provider版本选择错误导致数据源支持问题。
• 若必须使用google-beta Provider，需为资源/数据源明确指定provider = google-beta，但需提前确认该数据源在Beta Provider中是否存在（优先推荐正式Provider）。

内容的提问来源于stack exchange，提问作者Crawford