Spark任务单节点常仅处理一个分区的原因及调试方法

• 分区总数不足：如果RDD的总分区数远小于集群总核心数（spark.executor.instances * spark.executor.cores），节点没有足够的分区可处理，就会出现单节点仅处理一个分区的情况。
• 数据倾斜：个别分区数据量过大，Spark会优先让节点集中资源处理这类大分区，导致该节点没有多余核心处理其他分区。
• 资源配置不合理：若spark.executor.cores设为1，每个Executor只能并行处理一个分区；如果每个节点仅部署一个Executor，自然每个节点只处理一个分区。
• 分区策略问题：自定义分区器逻辑不当，或默认的HashPartitioner导致分区分布失衡，部分节点仅分配到一个分区。
• 动态资源分配限制：开启动态资源分配后，若最小Executor数设置过低，集群中运行的Executor数量不足，每个节点仅承载一个Executor且对应一个分区。
• 任务本地性约束：Spark优先让任务在数据所在节点执行，如果某个节点仅存储一个分区的数据，且无其他可调度任务，就会出现单节点仅处理一个分区的情况。

• 核查分区与资源匹配度：
  • 执行rdd.getNumPartitions()获取RDD总分区数，对比集群总核心数。若分区数远小于核心数，说明分区不足。
• 分析数据分布：
  • 用rdd.glom().map(_.size).collect()获取各分区数据量，排查是否存在数据倾斜；也可在Spark UI的Stages页面查看每个任务的输入数据量，定位异常大的分区。
• 检查资源配置：
  • 查看spark.executor.cores、spark.executor.instances等配置，确认每个Executor核心数是否大于1，节点上的Executor部署数量是否合理。
• 利用Spark UI分析：
  • 在Executors页面查看每个Executor运行的任务数；在Stages页面观察节点的任务分配情况，确认是否有节点仅执行单个任务。
  • 查看Storage页面的数据分布，确认节点上的分区存储数量。
• 测试分区调整：
  • 尝试用rdd.repartition(n)或rdd.coalesce(n, shuffle=True)增加分区数，观察节点的分区处理情况是否改善。
• 验证分区器逻辑：
  • 若使用自定义分区器，检查其分区规则是否导致分布不均；针对默认分区器，可尝试更换为RangePartitioner（适合有序数据）或调整分区数。

内容的提问来源于stack exchange，提问作者Alon