You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

能否复用空闲的Databricks作业集群以避免二次作业启动等待时间?

Databricks作业集群跨作业复用问题解答

结论先行:已经释放的作业集群无法被后续作业复用——释放操作会彻底销毁集群的所有计算资源和运行状态,集群会从可用列表中移除,无法重新关联新的作业。

如果想避免作业启动等待时间,推荐以下两种可行的复用方案:

  • 使用交互式集群承载多作业
    提前创建一个交互式集群,在配置多个作业时,选择“使用现有集群”并指定这个交互式集群。只要集群处于运行状态(或未触发自动终止规则),后续作业可以直接提交执行,无需等待集群启动。可以通过设置合理的“闲置自动终止”时间(比如闲置30分钟后终止),平衡资源利用率和等待时间。

  • 调整作业集群的生命周期配置
    若坚持使用作业集群,需修改第一个作业的集群配置:关闭作业完成后自动释放的默认设置,或延长自动终止的闲置时间。这样第一个作业完成后,集群会保持活跃状态,第二个作业可以直接选择重用该集群,跳过启动等待环节。

注意:作业集群的原生设计是为单个作业提供临时计算资源,长期保持作业集群活跃可能会增加不必要的成本,需根据实际作业频率和资源需求权衡配置。

内容的提问来源于stack exchange,提问作者azuresnowflake1

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.04 07:13:15