如何用Terraform为Google服务账号授予列全项目及组织内全项目读取权限

一、获取组织内所有项目的BigQuery资源 #

1. 权限前提 #

要查看组织内所有项目的BigQuery数据集和表，服务账号需在组织级别拥有以下权限：

• bigquery.datasets.get：查看数据集元数据
• bigquery.tables.list：列出数据集下的表
• 或更宽泛的bigquery.dataViewer（遵循最小权限原则建议用前两者组合）
• 同时需要具备列出组织内所有项目的权限（下文单独说明配置方式）

2. 跨项目遍历查询方案 #

单个INFORMATION_SCHEMA查询仅覆盖当前项目，要获取全组织资源，需分两步：

1. 先获取组织内所有项目ID列表
2. 遍历每个项目，执行BigQuery元数据查询

示例脚本逻辑：

# 导出组织内所有项目ID到文件
gcloud projects list --organization=你的组织ID --format="value(projectId)" > projects.txt

# 遍历每个项目，查询表存储信息并汇总
while read project; do
  bq query --project_id=$project "SELECT '$project' as project_id, * FROM region-us.INFORMATION_SCHEMA.TABLE_STORAGE" >> all_tables.csv
done < projects.txt

二、用Terraform配置服务账号组织级权限 #

1. 核心资源：google_organization_iam_member #

组织级权限需通过该资源配置，前提是你持有组织IAM管理权限（如roles/resourcemanager.organizationAdmin）。

2. 列出所有项目的权限配置 #

要让服务账号能列出组织内所有项目，需授予resourcemanager.projects.list权限，可选两种角色方案：

方案1：使用预定义角色（快速配置）

variable "organization_id" {
  type        = string
  description = "你的GCP组织ID"
}

variable "service_account_email" {
  type        = string
  description = "目标服务账号的邮箱"
}

# 授予组织级浏览器角色（包含项目列表及基础浏览权限）
resource "google_organization_iam_member" "sa_org_browser" {
  organization = var.organization_id
  role         = "roles/browser"
  member       = "serviceAccount:${var.service_account_email}"
}

# 授予组织级BigQuery数据查看权限
resource "google_organization_iam_member" "sa_bigquery_data_viewer" {
  organization = var.organization_id
  role         = "roles/bigquery.dataViewer"
  member       = "serviceAccount:${var.service_account_email}"
}

方案2：自定义最小权限角色（更安全）

如果不想授予过宽的roles/browser，可创建仅包含必要权限的自定义角色：

# 创建自定义角色
resource "google_organization_iam_custom_role" "sa_minimal_viewer" {
  organization = var.organization_id
  role_id      = "minimalOrgProjectBigQueryViewer"
  title        = "最小权限：组织项目+BigQuery查看"
  permissions = [
    "resourcemanager.projects.list",
    "bigquery.datasets.get",
    "bigquery.tables.list",
  ]
  description = "仅允许列出组织项目、查看BigQuery数据集和表元数据"
}

# 为服务账号绑定自定义角色
resource "google_organization_iam_member" "sa_custom_role_binding" {
  organization = var.organization_id
  role         = "organizations/${var.organization_id}/roles/${google_organization_iam_custom_role.sa_minimal_viewer.role_id}"
  member       = "serviceAccount:${var.service_account_email}"
}

3. 注意事项 #

• 组织级IAM变更需等待数分钟生效
• 始终遵循最小权限原则，避免过度授权
• 执行Terraform的账号必须具备组织IAM编辑权限

三、权限验证 #

配置完成后，可通过以下步骤验证：

1. 切换到服务账号身份：

gcloud auth activate-service-account --key-file=服务账号密钥文件.json

2. 列出组织内所有项目：

gcloud projects list --organization=你的组织ID

3. 查看任意项目的BigQuery数据集：

bq ls --project_id=目标项目ID

内容的提问来源于stack exchange，提问作者whiterook6