如何在Terraform中结合fileset与for_each动态配置GCP定时查询调度时间？

一、保留fileset()结构的实现方式 #

要在保留fileset()自动发现SQL文件特性的同时实现动态调度，核心思路是通过本地映射表将每个SQL文件关联到对应的调度规则：

1. 首先定义本地映射，存储文件名与调度时间的对应关系：

locals {
  query_schedules = {
    "query_1.sql" = "every day at 09:00"
    "query_2.sql" = "every day at 09:05"
    # 新增SQL文件时，在此添加对应的调度配置即可
  }
}

2. 修改资源块的for_each，结合fileset和映射表生成键值对：

resource "google_bigquery_data_transfer_config" "dashboard_queries" {
  for_each                  = { for f in fileset("${path.module}/templates/performance", "*.sql") : f => local.query_schedules[f] }
  data_source_id            = "scheduled_query"
  location                  = var.bq_region
  destination_dataset_id    = "monitoring"
  display_name              = substr(each.key, 0, length(each.key) - 4)
  schedule                  = each.value
  disabled                  = false

  params = {
    destination_table_name_template = substr(each.key, 0, length(each.key) - 4)
    write_disposition               = "WRITE_APPEND"
    query                           = templatefile("${path.module}/templates/performance/${each.key}", {
      user_mail    = var.user_mail_query
      events_table = var.events_table
      ingest_table = var.ingest_table
    })
  }
}

3. 可选：添加验证逻辑，确保所有SQL文件都配置了调度规则，避免遗漏：

locals {
  all_sql_files = fileset("${path.module}/templates/performance", "*.sql")
  missing_schedules = [for f in local.all_sql_files : f if !contains(keys(local.query_schedules), f)]
}

# 若存在未配置调度的文件，执行时抛出错误
resource "null_resource" "validate_schedules" {
  count = length(local.missing_schedules) > 0 ? 1 : 0
  provisioner "local-exec" {
    command = "echo '错误：以下文件未配置调度规则：${join(", ", local.missing_schedules)}' && exit 1"
  }
}

这种方式既保留了fileset自动适配新增文件的能力，又能灵活配置每个查询的调度时间，新增文件时仅需在query_schedules中添加对应条目即可。

二、你提出的locals列表方案的可行性 #

你设计的基于locals对象列表的方案是完全可行的，且具有以下优势：

• 集中管理所有查询的核心配置（文件名、显示名称、调度时间），结构清晰易维护
• 支持扩展更多自定义属性（如不同的写入策略、目标数据集等）
• 完全手动控制要部署的查询，避免意外部署未准备好的SQL文件

使用时需注意几个细节：

• 确保file字段对应的SQL文件存在于${path.module}/templates/performance目录下，否则templatefile函数会抛出文件不存在的错误
• name字段必须唯一，因为for_each用它作为资源的唯一标识键，重复会导致Terraform报错
• 该方案不具备自动发现新增文件的能力，新增查询时需要手动在locals.queries列表中添加新的对象条目

内容的提问来源于stack exchange，提问作者Keith Cozart