使用Airflow创建Databricks集群时enable_elastic_disk验证报错求助

问题重现 #

创建Databricks集群时触发以下错误：

"Cluster validation error: Validation failed for enable_elastic_disk, the value must be true (is "true")"

代码中已设置enable_elastic_disk: True，但问题依旧：

new_cluster = {
        "cluster_name": "****",
        'spark_version': '9.1.x-scala2.12',
        'node_type_id': 'c5.xlarge',
        'aws_attributes': {'availability': 'ON_DEMAND'},
        'enable_elastic_disk': True,
        # "autoscale": {
        #     "min_workers": 2,
        #     "max_workers": 8
        # },
        'num_workers': 8,
        'policy_id': '*****'
    }

可能的解决方法 #

• 检查集群策略配置
  登录Databricks控制台，找到policy_id对应的集群策略，查看enable_elastic_disk的规则。如果策略已强制设置该参数为true（比如规则为"enable_elastic_disk": {"type": "boolean", "value": true}），则直接移除代码中的enable_elastic_disk字段，由策略自动应用即可，手动设置反而会触发验证冲突。

• 排查参数序列化问题
  部分Airflow Databricks Provider旧版本存在布尔参数序列化bug，会把True转成字符串"true"导致验证失败。可以尝试：

  1. 升级Airflow的Databricks Provider到最新稳定版
  2. 若使用了自定义序列化逻辑，显式确保参数以布尔类型传递

• 验证实例类型兼容性
  确认c5.xlarge实例是否支持Databricks弹性磁盘（AWS大部分实例类型都支持，但特殊情况可能存在限制），可在Databricks控制台手动创建同类型集群测试是否能正常开启弹性磁盘。

内容的提问来源于stack exchange，提问作者sct