如何通过Terraform在BigQuery创建多数据集并分配专属服务账号权限

要实现每个数据集对应独立的服务账号，需要调整变量结构，让数据集与服务账号建立一一对应关系，同时通过Terraform的资源关联机制，为每个数据集创建专属服务账号并授予权限。以下是修改后的完整代码：

1. 更新变量定义（variables.tf） #

将原有的dataset_name列表替换为包含数据集ID和对应服务账号ID的结构化变量，清晰指定每个数据集的专属服务账号：

variable "project_id" {
  type    = string
  default = "<projectid>"
}

variable "set_location" {
  type    = string
  default = "southamerica-east1"
}

# 用对象列表定义数据集与服务账号的对应关系
variable "datasets" {
  type = list(object({
    dataset_id = string  # 数据集ID
    sa_id      = string  # 服务账号的ID前缀（完整邮箱为 sa-id@project-id.iam.gserviceaccount.com）
  }))
  default = [
    {
      dataset_id = "first-dataset"
      sa_id      = "sa-first-dataset"
    },
    {
      dataset_id = "second-dataset"
      sa_id      = "sa-second-dataset"
    }
  ]
}

2. 调整主配置（main.tf） #

通过count遍历变量，为每个数据集创建专属服务账号，并将该服务账号绑定到对应数据集的BigQuery Admin角色：

# 为每个数据集创建专属服务账号
resource "google_service_account" "dataset_sa" {
  count        = length(var.datasets)
  account_id   = var.datasets[count.index].sa_id
  project      = var.project_id
  display_name = "BigQuery Admin Service Account for ${var.datasets[count.index].dataset_id}"
}

# 创建BigQuery数据集并绑定对应服务账号的权限
resource "google_bigquery_dataset" "dataset" {
  count       = length(var.datasets)
  dataset_id  = var.datasets[count.index].dataset_id
  location    = var.set_location
  project     = var.project_id

  access {
    role          = "roles/bigquery.admin"
    # 引用对应索引的服务账号邮箱
    user_by_email = google_service_account.dataset_sa[count.index].email
  }
}

可选优化：使用for_each提升稳定性 #

如果后续需要调整数据集顺序或增删特定数据集，推荐用for_each替代count，避免因索引变化导致资源重建。只需修改如下：

修改后的variables.tf（map类型变量） #

variable "datasets" {
  type = map(object({
    sa_id = string
  }))
  default = {
    "first-dataset" = {
      sa_id = "sa-first-dataset"
    },
    "second-dataset" = {
      sa_id = "sa-second-dataset"
    }
  }
}

修改后的main.tf（使用for_each） #

resource "google_service_account" "dataset_sa" {
  for_each     = var.datasets
  account_id   = each.value.sa_id
  project      = var.project_id
  display_name = "BigQuery Admin SA for ${each.key}"
}

resource "google_bigquery_dataset" "dataset" {
  for_each    = var.datasets
  dataset_id  = each.key
  location    = var.set_location
  project     = var.project_id

  access {
    role          = "roles/bigquery.admin"
    user_by_email = google_service_account.dataset_sa[each.key].email
  }
}

关键说明 #

• 服务账号的完整邮箱由account_id和项目ID自动生成，格式为{sa_id}@{project_id}.iam.gserviceaccount.com
• 确保执行Terraform的账号拥有以下权限：
  • roles/iam.serviceAccountCreator（创建服务账号）
  • roles/bigquery.admin（管理BigQuery数据集权限）

内容的提问来源于stack exchange，提问作者Antonio Junior