运行时修改spark.task.cpus及Spark Map内Scala并行集合使用问询

我翻了不少过往相关的讨论帖，目前来看直接在Spark的map操作里借助Scala并行集合实现预期的并行逻辑，大概率是没法实现的——不过也不排除有我没接触到的最新方案，这个可能性我得提前说明。

下面给你拆解下如果非要尝试这条路的核心前提和注意事项：

• 必须在Spark任务启动初期就配置spark.task.cpus参数，给每个Spark任务分配足够的核心数——这是Scala并行集合能在单个任务内启用多线程并行的基础，不然哪怕你写了并行集合的代码，也只能在单核心上跑，起不到并行效果。
• 结合你提到的集群配置（14个节点，每个节点配备8核，这里默认你未写完的是8核配置），你得根据集群总资源、同时运行的任务数来合理设置spark.task.cpus的值。比如如果每个任务分配2核，那单个任务里的Scala并行集合最多能用到2个工作线程（还要注意JVM的线程数限制）。

另外必须给你提个醒：

Spark本身就是分布式并行计算框架，在map算子里嵌套Scala并行集合很容易踩坑：比如单个Spark任务占用过多核心，会挤压其他Spark任务的资源，反而导致整体集群的吞吐量下降；而且这种嵌套并行的调试难度极高，出了问题很难定位到具体是Spark的分布式逻辑还是Scala并行集合的本地逻辑出了问题。

内容的提问来源于stack exchange，提问作者Luca