Databricks资产包(DAB)工作流集群选择异常排查咨询

• 检查平台集群自动匹配规则：多数大数据平台（如Databricks，DAB为其Asset Bundle）默认会匹配现有空闲集群，尤其是当YAML规格与个人集群存在重合项时。确认是否开启了项目/全局级的“重用现有集群”配置，比如cluster_reuse相关参数，即便未指定cluster_id，平台也可能自动匹配满足规格的空闲集群。
• 核对YAML集群规格定义：确认YAML中集群配置（节点类型、节点数、Spark版本、运行时环境等）是否与个人集群完全一致。若存在参数缺失或模糊定义，平台可能匹配最接近的现有集群而非创建新集群——比如仅指定节点类型未指定Spark版本，恰好个人集群用了相同节点类型和默认版本，就会被匹配。
• 排查工作流集群复用策略：查看DAB工作流配置中是否隐含复用参数，比如jobs下new_cluster中的cluster_reuse_timeout_minutes，或是是否继承了全局复用设置。部分平台默认会给新集群设置复用超时，超时内的空闲集群会被后续任务复用。
• 检查个人集群状态与标签：确认个人集群是否处于空闲状态，以及是否添加了与项目工作流匹配的标签。部分平台会依据标签匹配集群，即便未指定cluster_id，若工作流配置了特定标签且个人集群恰好拥有，就会被选中。
• 查看工作流运行日志：每次异常运行时，查看工作流启动日志，日志通常会显示集群选择原因（如“匹配到满足条件的现有集群xxx”），根据提示定位具体匹配逻辑。
• 验证平台权限与集群可见性：确认个人集群与项目工作流是否在同一工作空间/租户下，且工作流执行账号拥有该集群的访问权限。若权限允许，平台可能优先使用可见的空闲集群，而非创建新集群。
• 检查DAB配置生效情况：使用dab validate或平台提供的配置检查命令，确认YAML中的集群配置被正确解析，无语法错误或参数被默认值覆盖。若参数写错，平台会自动使用默认值，可能恰好与个人集群匹配。

内容的提问来源于stack exchange，提问作者moro clash