Spark执行器RDD持久化负载不均问题求助（YARN双节点环境）

AI 小北

2026-5-27

解决Spark YARN集群中RDD持久化内存分配不均的问题

碰到这种执行器（Executor）间持久化内存占用不均、后续任务分配失衡的情况，确实会拖慢集群的整体效率。结合你用两台服务器（innov1/innov2）+ YARN的场景，我整理了几个实战性的解决方案，你可以逐步排查尝试：

1. 优化RDD重分区策略，确保数据均匀打散

持久化内存不均的核心原因往往是分区数据分布失衡，你第一步的repartition操作如果没做好，后续所有问题都会跟着来：

先确认集群总可用vcores数：假设每台服务器有8个vcore，两台就是16个，推荐把RDD分区数设置为总vcores的2~3倍（比如32或48），这样每个Executor能分到数量相近的分区。可以直接在repartition时指定：
```
val repartitionedRDD = filteredRDD.repartition(32) // 替换为你的总vcores*2~3的值
```
如果数据本身存在倾斜（比如某些文件路径分组下的数量远超其他），不要用默认的哈希分区，改用自定义分区器或者repartitionByRange（如果路径有有序特征），把大分区拆分成多个小分区，强制让数据均匀分布到各个Executor。

如果你的Executor内存/核心数配置不一致，YARN分配资源时会导致部分Executor能承载更多分区，部分则不行：

提交任务时明确指定统一的Executor资源参数，避免YARN动态分配的差异：

spark-submit \
  --master yarn \
  --executor-memory 8G \
  --executor-cores 4 \
  --num-executors 4 \ # 两台服务器，每台跑2个Executor，根据实际资源调整
  your-app.jar

检查YARN的全局配置（yarn-site.xml），确保yarn.scheduler.maximum-allocation-mb和yarn.scheduler.maximum-allocation-vcores没有限制Executor的资源上限，导致部分节点无法分配到足够资源。

默认的MEMORY_ONLY存储级别如果碰到大分区，会导致内存溢出到磁盘，进而让Executor内存占用波动大：

改用序列化存储级别，比如MEMORY_AND_DISK_SER，序列化后数据体积会缩小30%~50%，同时内存不足时可以溢写到磁盘，让每个Executor的内存占用更可控：
```
import org.apache.spark.storage.StorageLevel
repartitionedRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)
```
如果你的文件路径字符串很长，还可以考虑先对字符串做压缩处理（比如用Snappy压缩序列化），进一步降低内存占用。

从数据库获取的文件路径可能存在天然的数据倾斜（比如某类路径下的文件数量特别多），你可以先定位倾斜分区：

用以下代码查看每个分区的元素数量，找出异常大的分区：

val partitionSizes = repartitionedRDD.glom().map(_.length).collect()
println(partitionSizes.mkString(", "))

如果发现某个分区数据量远超其他，可以给该分区的key添加随机前缀（比如在路径前加0~N的随机数），然后重新分区，把大拆分成多个小分区；如果是特定前缀的路径导致倾斜，也可以单独处理这些路径，拆分后再和其他数据合并。

调度策略也会影响任务分配的均衡性：

把Spark的调度模式设置为FAIR，让Spark内部的任务调度更公平，避免某个Executor一直被分配任务：
```
# 在spark-submit中添加
--conf spark.scheduler.mode=FAIR
```
如果YARN用的是Capacity调度器，确保你的任务队列配置了公平的资源分配比例，两台服务器的资源都能被均衡分配到Executor。

一定要利用Spark UI来定位问题：

内容的提问来源于stack exchange，提问作者Quentin Laville