Databricks单集群多并行任务的执行机制与资源利用问询

一、任务执行逻辑 #

当你在Databricks中将包含多并行任务的作业绑定到单集群（1个Driver + 4个Worker）时，这些并行任务会以独立Spark应用的形式在同一个集群上运行：

• 每个并行任务都会启动专属的Driver进程，所有任务的Driver进程共享集群唯一的Driver节点的CPU、内存资源。
• Worker节点的计算资源（CPU、内存）会被所有任务的Executor进程共享，由Databricks集群管理器统一调度分配。

二、Spark Session/Context的运行机制 #

每个并行任务对应一个独立的Spark应用，因此每个任务都会创建属于自己的Spark Session（Spark 2.x及以上版本中，Spark Session封装了Spark Context）。不同任务的Spark Session完全隔离，各自管理自身的应用配置、数据状态，不会互相干扰。

不存在多个任务共享同一个Spark Session/Context的情况，Databricks会为每个作业任务创建独立的Spark应用实例。

三、资源利用规则 #

1. Driver节点资源：所有并行任务的Driver进程会竞争Driver节点的CPU和内存资源。如果并行任务数量过多，Driver节点可能出现资源瓶颈，导致任务启动缓慢或卡顿。建议根据Driver节点的硬件配置（CPU核数、内存）合理控制并行任务的数量。
2. Worker节点资源：Worker节点的总资源会被所有任务的Executor进程拆分使用。你可以为每个任务单独配置Executor的数量、核数和内存（在作业任务的运行参数中设置），Databricks会根据配置在Worker节点上为每个任务分配对应资源。
3. 资源调度优先级：Databricks集群管理器会按照任务提交顺序、资源需求进行调度。如果某个任务的资源需求无法满足（比如Worker节点剩余资源不足），该任务会进入等待队列，直到有空闲资源释放。

内容的提问来源于stack exchange，提问作者Tarique