在实例池中预加载多个Spark版本的可行性咨询

核心结论 #

Databricks实例池目前仅支持预加载单个Spark运行时版本，尽管Terraform Provider中参数名为preloaded_spark_versions（复数形式），但这是设计限制，无法同时预装多个版本。

原因解释 #

实例池的底层是一组预初始化的虚拟机实例，这些实例基于绑定了特定Spark运行时的镜像构建。每个Spark运行时对应不同的依赖库、JVM版本、环境配置，无法在同一个实例镜像中兼容多个版本的运行时环境。参数名的复数形式可能是为未来功能扩展预留，但当前Databricks API仅接受单个版本值。

满足多版本需求的解决方案 #

要支持不同Spark版本的集群创建，建议为每个需要的运行时版本单独创建实例池：

• 在Terraform模块中，可通过for_each遍历目标Spark版本列表，批量生成对应实例池：

variable "target_spark_versions" {
  type    = list(string)
  description = "List of Spark runtime versions to create instance pools for"
  default = ["13.3.x-scala2.12", "14.2.x-scala2.12"]
}

resource "databricks_instance_pool" "version_specific_pools" {
  for_each             = toset(var.target_spark_versions)
  instance_pool_name   = "spark-pool-${replace(each.value, ".", "-")}"
  min_idle_instances   = 2
  max_capacity         = 20
  node_type_id         = "m5.xlarge"
  preloaded_spark_versions = [each.value]
  
  # 其他实例池配置（如磁盘、实例配置等）
  disk_spec {
    disk_type {
      ebs_volume_type = "GENERAL_PURPOSE_SSD"
    }
    disk_size = 100
  }
}

• 用户创建集群时，根据所需Spark版本选择对应的实例池即可。

注意事项 #

如果强行在preloaded_spark_versions中传入多个版本值，Terraform会触发API报错，因为Databricks后台不支持该操作。

内容的提问来源于stack exchange，提问作者André