使用Terraform部署Databricks持续作业时遇手动执行错误

问题根源 #

你遇到的错误是因为同时启用了always_running和continuous两个冲突的配置项。在Databricks Terraform Provider 1.14.3中：

• continuous { pause_status = "UNPAUSED" } 已经会让作业自动进入持续运行状态并保持活跃
• always_running = true 会触发Terraform在作业创建后尝试手动启动一次运行，但持续作业一旦处于活跃状态就不允许手动触发，直接导致冲突报错

修复方案 #

移除always_running = true配置项，仅保留continuous块来定义持续运行行为。调整后的完整配置如下：

resource  "databricks_notebook" "simulated_device"  {
  path     = "/simulated-data/simulated_device.py"
  language = "PYTHON"
  source   = "../simulated-data/device.py"
}

resource "databricks_job" "simulated_data" {
  name                = "Generate Simulated Data"
  existing_cluster_id = databricks_cluster.telemetry_cluster.cluster_id
  notebook_task {
    notebook_path = databricks_notebook.simulated_device.path
  }
  continuous {
    pause_status      = "UNPAUSED"
  }
}

额外说明 #

• 调整后执行terraform apply，作业会正常创建并自动进入持续运行状态，失败时也会按照Databricks持续作业的规则自动重启
• always_running是针对旧版"永久运行作业"的配置，而continuous是Databricks推出的新版持续作业机制，两者不能混用，否则会触发Provider的逻辑冲突

内容的提问来源于stack exchange，提问作者Chuck