如何在Azure Databricks Jobs计算中使用Cluster Pool并管控成本与节点？

1. 如何在Jobs计算中使用已创建的Cluster Pool #

直接在创建/编辑Job时关联Cluster Pool，步骤如下：

• 进入Job创建页面，在Cluster配置区域选择New job cluster
• 展开Advanced options，找到Cluster pool选项，选择你已创建的Pool
• 按需设置该Job集群的工作节点数（注意不能超过Cluster Pool的最大节点数限制）
• 若要控制预热时长，可在Cluster Pool的配置中调整节点保留时长（Idle node retention），确保池内有预热完成的节点供Job快速拉起

2. All-purpose集群用Cluster Pool节点的计费规则 #

不会按Jobs计算标准计费。计费规则由集群类型决定：

• 只要是All-purpose集群，无论是否使用Cluster Pool的节点，都按照All-purpose集群的费率收费
• Jobs计算的优惠费率仅适用于通过Jobs集群（而非All-purpose）提交的作业

3. 统一流作业的Jobs计算配置，实现节点复用与总节点数限制 #

按以下步骤操作即可实现需求：

第一步：配置Cluster Pool的总节点上限 #

• 编辑已创建的Cluster Pool，设置Maximum nodes为你能接受的总工作节点数上限，所有关联该Pool的Jobs集群会共享这个节点池，自动控制总节点数不超限
• 调整Idle node retention参数，设置合适的节点保留时长（比如30分钟），让空闲节点保持预热状态，减少作业启动的预热时间

第二步：创建统一的Jobs集群模板 #

• 进入集群模板创建页面，选择Job cluster类型
• 关联上述配置好的Cluster Pool，设置固定的工作节点数范围（比如2-8个节点，根据流作业负载调整）
• 开启Autoscale（如果需要动态调整节点数），并设置对应的缩放规则

第三步：所有流作业复用该模板 #

• 创建或编辑流作业时，在Cluster配置中选择Existing cluster template，指定你创建的统一模板
• 对于持续运行的流作业（如结构化流），设置集群的Termination timeout为0（或足够长的时间），避免作业运行时集群被意外终止；对于周期性流作业，设置合理的超时时间，确保作业完成后节点回到Pool复用

内容的提问来源于stack exchange，提问作者azuresnowflake1