如何在Azure中用Terraform为Databricks集群添加多个spark_conf配置

你需要用Terraform的for表达式将对象列表直接转换为spark_conf所需的键值对映射，而不是使用dynamic块（dynamic是用来生成重复的嵌套块，而spark_conf是接受map类型的参数，不是块）。

步骤1：确认变量定义 #

首先确保spark_configs变量的类型正确：

variable "spark_configs" {
  type = list(object({
    key   = string
    value = string
  }))
  description = "动态Spark配置键值对列表"

  # 可选：添加校验确保key不重复
  validation {
    condition     = length(var.spark_configs) == length(unique([for cfg in var.spark_configs : cfg.key]))
    error_message = "Spark配置的key不能重复，请检查列表内容。"
  }
}

步骤2：动态生成spark_conf映射 #

在Databricks集群资源块中，直接用for表达式遍历列表生成完整的map：

resource "databricks_cluster" "your_cluster" {
  # 集群的其他必填配置（比如instance_type、node_type_id等）
  cluster_name            = "your-cluster-name"
  spark_version           = "13.3.x-scala2.12"
  node_type_id            = "m5.xlarge"
  autoscale {
    min_workers = 2
    max_workers = 8
  }

  # 动态生成spark_conf
  spark_conf = {
    # 可选：添加固定的Spark配置（如果需要）
    "spark.driver.memory" = "8g"
    
    # 遍历变量列表生成动态配置
    for cfg in var.spark_configs : cfg.key => cfg.value
  }
}

如果不需要固定配置，也可以直接简化为：

spark_conf = tomap({ for cfg in var.spark_configs : cfg.key => cfg.value })

为什么dynamic块不行？ #

dynamic块的作用是生成重复的嵌套块结构，而Databricks集群资源的spark_conf是一个接受map类型的参数，不是可重复的块。使用dynamic会生成多个spark_conf块，这不符合资源的schema要求，而for表达式生成的单个map才是正确的形式。

内容的提问来源于stack exchange，提问作者pieter-jan goeman