Spark local[2]模式worker线程超配及task概念相关技术疑问

为什么local[2]配置下会出现大量不同的线程名？ #

首先纠正两个常见认知误区：

• 你配置的local[2]的实际含义是限制同一时间最多并行执行2个task，而非限制Spark应用整个生命周期只能创建2个线程
• 你打印的Thread[Executor task launch worker for task 27,5,main]这类线程名里的数字27、302，是当前线程正在执行的task的ID，不是线程本身的唯一标识

底层逻辑如下：
Spark Executor端会维护一组执行task的工作线程，同一时间活跃的线程数和配置的核心数完全一致（这里就是2个）。线程本身支持复用，每当有新的task被调度到该线程执行时，Spark会临时修改线程名，带上当前task的ID方便日志排查问题，task执行完成后线程不会销毁，等待下一个task调度时再修改为对应新task的ID。
如果你的作业逻辑生成了数百个task（比如RDD分区数较多、作业被拆分为多个Stage），这些task会依次调度到仅有的2个工作线程上执行，你打印线程名自然会看到从27到302的大量不同名称。你可以补充打印Thread.currentThread().getId()验证，线程的唯一ID只会出现2个不同的值，和local[2]的配置完全匹配。

Spark中task的具体概念是什么？ #

task是Spark作业调度体系中最小的执行单元，核心特性如下：

• 每个task对应处理RDD的一个分区数据，同一个Stage内的所有task执行完全相同的计算逻辑，仅处理的分区数据不同
• 单个Stage的默认task数量等于该Stage最后一个RDD的分区数，你可以通过repartition()、coalesce()等算子手动调整分区数，进而修改task数量
• 每个task有全局唯一的ID标识，也就是你在线程名中看到的数字，调度执行时会绑定到Executor的工作线程上运行，运行完成后释放线程资源供后续task使用

内容的提问来源于stack exchange，提问作者saadoune