Databricks集群DBU范围解析:1.5-2.25 DBU/h的场景判定
关于Databricks集群DBU范围1.5-2.25 DBU/h的场景解析
1.5 DBU/h 对应场景
这是单Worker节点的All-Purpose集群的总DBU消耗:
- 集群使用的是Standard_DS3_v2(或同档CPU实例),该类实例的All-Purpose DBU费率为
0.75 DBU/h每节点 - 集群配置:1个Driver节点 + 1个Worker节点,总DBU = 0.75(Driver) + 0.75(Worker)= 1.5 DBU/h
- 适用场景:单人开发调试、小规模数据探索、轻量任务处理,资源需求较低的场景
2.25 DBU/h 对应场景
这是双Worker节点的All-Purpose集群的总DBU消耗:
- 同样基于
0.75 DBU/h每节点的费率 - 集群配置:1个Driver节点 + 2个Worker节点,总DBU = 0.75(Driver) + 0.75×2(Workers)= 2.25 DBU/h
- 适用场景:中等规模数据处理、多人协作开发、需要并行计算的任务,比单Worker场景具备更强的计算能力
关于你推测的修正
你认为差异和Worker相关的方向是正确的,但忽略了Driver节点的DBU消耗——Databricks集群的总DBU是Driver节点加所有Worker节点的DBU总和,并非仅计算Worker。所以单Worker时总DBU为1.5,双Worker时为2.25,而非你之前计算的1.5×2=3。
内容的提问来源于stack exchange,提问作者user3579222
相关产品推荐
相关产品推荐

