如何在Terraform模板文件中定义Map以解决解码失败问题

问题根源 #

1. 类型不匹配：在templatefile中直接将Map类型变量插入YAML字符串位置时，Terraform无法自动将Map转为合法字符串，触发"string required"错误。
2. 错误的变量转换：main.tf中用each.value.custom_parameters[*]将Map转为了列表类型，进一步加剧了类型冲突。

解决方案 #

方案一：将Map序列化为JSON字符串传递（推荐） #

这种方式适合DataFlow接受JSON格式参数的场景，既解决类型问题，又能让下游解析Map结构。

1. 修改main.tf中的变量传递
   将tf_custom_parameters的赋值改为JSON编码后的字符串：

   resource "google_dataflow_flex_template_job" "dataflow_jobs_static" {
     provider = google-beta
     for_each = {
       for k, v in var.dataflows : k => v
       if v.type == "static"
     }
     parameters = merge(
       yamldecode(templatefile("df/${each.key}/config.yaml", {
         // 保留其他变量...
         tf_custom_parameters    = jsonencode(each.value.custom_parameters) // 替换为jsonencode
       }))
     )
   }
   

2. config.yaml保持不变

   custom_var: ${tf_custom_parameters}
   

   插值后custom_var的值会是{"bootstrapServers": "abc,gv"}，符合字符串要求，且DataFlow可解析该JSON为Map。

方案二：直接生成YAML嵌套Map结构 #

如果需要在YAML中直接呈现嵌套的Map结构，可通过yamlencode将Map转为YAML格式字符串插入模板：

1. 修改main.tf中的变量传递
   去掉多余的[*]，直接传递原始Map：

   resource "google_dataflow_flex_template_job" "dataflow_jobs_static" {
     provider = google-beta
     for_each = {
       for k, v in var.dataflows : k => v
       if v.type == "static"
     }
     parameters = merge(
       yamldecode(templatefile("df/${each.key}/config.yaml", {
         // 保留其他变量...
         tf_custom_parameters    = each.value.custom_parameters // 直接传Map
       }))
     )
   }
   

2. 修改config.yaml模板
   使用yamlencode生成合法的YAML结构：

   custom_var: ${yamlencode(tf_custom_parameters)}
   

   插值后生成的YAML会是：

   custom_var:
     bootstrapServers: abc,gv
   

方案三：直接构造parameters（无需templatefile） #

跳过templatefile和yamldecode，直接在Terraform中构造参数Map，更简洁：

resource "google_dataflow_flex_template_job" "dataflow_jobs_static" {
  provider = google-beta
  for_each = {
    for k, v in var.dataflows : k => v
    if v.type == "static"
  }
  parameters = {
    tf_host_project         = var.host_project
    tf_dataflow_subnet      = var.dataflow_subnet
    tf_airflow_project      = local.airflow_project
    tf_common_project       = "np-common"
    tf_dataeng_project      = local.dataeng_project
    tf_domain               = var.domain
    tf_use_case             = var.use_case
    tf_env                  = var.env
    tf_region               = lookup(local.regions, each.value.region, "northamerica-northeast1")
    tf_short_region         = each.value.region
    tf_dataflow_job         = each.key
    tf_dataflow_job_img_tag = each.value.active_img_tag
    tf_metadata_json        = indent(6, file("df/${each.key}/metadata.json"))
    tf_sdk_language         = each.value.sdk_language
    custom_var              = jsonencode(each.value.custom_parameters)
  }
}

内容的提问来源于stack exchange，提问作者adithyar24200