如何确保EMR上的Spark Streaming作业充分利用全部集群容器资源
Spark作业集群资源利用情况的排查与确认方法
一、通过Spark原生Web UI直接核对资源分配
- 访问运行中作业的Spark Application Web UI(默认部署在主节点4040端口,Streaming作业为常驻服务),切换到
Executors标签页 - 直接核对两类核心信息:
- 作业实际成功启动的Executor总数量,逐个记录每个Executor绑定的节点Host,判断所有Executor是跨两个数据节点分布,还是全部集中在单个节点上
- 每个Executor的内存、CPU实时占用率,判断是否存在大部分Executor长期零计算、资源占用率接近0的空转状态
- 注意:主节点上的Spark Driver进程不属于业务计算资源,统计可用计算能力时要排除主节点。按照你提供的集群配置,2个数据节点总共有32GB内存、8核vCPU,扣掉YARN、NodeManager、HDFS DataNode自身占用的约4-6GB内存、1-2核CPU,实际可分配给Spark业务作业的资源为约26GB内存、6核CPU,你可以对照这个值判断作业有没有拿满配额。
二、从日志特征反推任务实际分布
- 你观察到的仅单个容器输出业务日志、其余容器只有
Allocation Failure类GC记录,是典型的任务分配不均的表现,不是其余容器没有正常启动:- 空转的Executor因为没有业务计算、数据读写的内存开销,堆内存长期处于低水位,一旦有少量JVM内置对象分配触发年轻代空间不足,就会输出Allocation Failure的GC日志;因为没有承接实际业务任务,自然不会出现业务代码的输出日志。
- 可在任意一个空转Executor的日志中,搜索你的业务代码专属关键词(比如自定义日志前缀、写入的数仓表名、消费的Kafka Topic名称),如果检索不到相关内容,即可证明该Executor从作业启动至今没有承接任何业务计算任务。
- 结合你提供的GC日志计算:该容器的总堆内存为241536K(约236MB),和你尝试设置的大规格executor内存参数完全不匹配,说明这个容器要么是YARN分配的辅助类容器,要么是没有拿到实际计算配额的空转Executor,不属于正经的业务计算节点。
三、EMR集群层的资源核验
- 登录EMR控制台,切换到
实例板块,查看两个数据节点的实时资源利用率:- 如果仅单个数据节点的CPU、内存长期处于高位,另一个数据节点的CPU、内存长期空闲,即可证明所有计算任务确实全部压在单个节点上。
- 作业提交时可添加
--conf spark.logConf=true参数,作业启动日志会打印所有实际生效的Spark配置,重点核对以下配置的最终生效值:spark.executor.instances:实际分配的Executor总数量spark.executor.cores:单个Executor绑定的CPU核数spark.executor.memory:单个Executor分配的内存大小spark.dynamicAllocation.enabled:如果启用动态资源分配,需核对动态分配的Executor数量上下限,判断是否因扩容条件未触发,仅拉起了最低配额的单Executor
四、常见的单节点承接全部任务的触发原因
- Kafka消费并行度不足:如果DirectStream的消费并行度绑定Kafka Topic的分区数,但对应Topic实际只有1个分区,无论配置多少个Executor,只有1个线程能消费到数据,其余Executor会全程空转。
- DStream分区配置错误:如果从Kafka读出的数据流直接调用
repartition(1),所有数据都会被集中到单个分区,由单个Executor承接全部计算。 - YARN调度策略限制:EMR默认采用Capacity Scheduler,如果所在资源队列的配置仅允许你的作业在单个节点上申请资源,就会出现所有Executor全被调度到同一个数据节点的情况。
内容的提问来源于stack exchange,提问作者mt_leo
相关产品推荐
相关产品推荐

