如何通过Databricks Asset Bundles在Workflow部署单节点集群？

你遇到的错误是因为仅设置num_workers: 0不足以让Databricks识别为单节点集群，必须添加单节点集群专属的配置标识。结合你提供的个人计算集群JSON配置，以下是修正后的Job集群YAML配置：

job_clusters:
  - job_cluster_key: my_job_cluster
    new_cluster:
      spark_version: 14.3.x-scala2.12
      spark_conf:
        spark.databricks.cluster.profile: "singleNode"
        spark.master: "local[*, 4]"
      azure_attributes:
        first_on_demand: 1
        availability: ON_DEMAND_AZURE
        spot_bid_max_price: -1
      node_type_id: Standard_D8ds_v5
      driver_node_type_id: Standard_D8ds_v5
      spark_env_vars:
        PYSPARK_PYTHON: /databricks/python3/bin/python3
      enable_elastic_disk: true
      data_security_mode: SINGLE_USER
      runtime_engine: PHOTON
      custom_tags:
        ResourceClass: "SingleNode"
      num_workers: 0

关键配置说明 #

• spark_conf：必须设置spark.databricks.cluster.profile: "singleNode"指定集群类型为单节点，spark.master: "local[*, 4]"是单节点集群的标准Spark主节点配置，其中4代表使用的CPU核心数（可根据节点规格调整）。
• custom_tags：添加ResourceClass: "SingleNode"标签，这是Databricks后台识别单节点集群的必要标识。
• driver_node_type_id：单节点集群的驱动节点和工作节点为同一台机器，需设置与node_type_id相同的值。

部署时使用上述配置即可成功创建单节点Job集群，同时保留你原有配置中的环境变量、弹性磁盘、Photon引擎等设置。

内容的提问来源于stack exchange，提问作者NateH06