能否复用空闲的Databricks作业集群以避免二次作业启动等待时间?
Databricks作业集群跨作业复用问题解答
结论先行:已经释放的作业集群无法被后续作业复用——释放操作会彻底销毁集群的所有计算资源和运行状态,集群会从可用列表中移除,无法重新关联新的作业。
如果想避免作业启动等待时间,推荐以下两种可行的复用方案:
使用交互式集群承载多作业
提前创建一个交互式集群,在配置多个作业时,选择“使用现有集群”并指定这个交互式集群。只要集群处于运行状态(或未触发自动终止规则),后续作业可以直接提交执行,无需等待集群启动。可以通过设置合理的“闲置自动终止”时间(比如闲置30分钟后终止),平衡资源利用率和等待时间。调整作业集群的生命周期配置
若坚持使用作业集群,需修改第一个作业的集群配置:关闭作业完成后自动释放的默认设置,或延长自动终止的闲置时间。这样第一个作业完成后,集群会保持活跃状态,第二个作业可以直接选择重用该集群,跳过启动等待环节。
注意:作业集群的原生设计是为单个作业提供临时计算资源,长期保持作业集群活跃可能会增加不必要的成本,需根据实际作业频率和资源需求权衡配置。
内容的提问来源于stack exchange,提问作者azuresnowflake1
相关产品推荐
相关产品推荐

