You need to enable JavaScript to run this app. 如何确保EMR上的Spark Streaming作业充分利用全部集群容器资源
优惠活动
大模型
产品
解决方案
定价
更多

如何确保EMR上的Spark Streaming作业充分利用全部集群容器资源

Spark作业集群资源利用情况的排查与确认方法

一、通过Spark原生Web UI直接核对资源分配

  • 访问运行中作业的Spark Application Web UI(默认部署在主节点4040端口,Streaming作业为常驻服务),切换到Executors标签页
  • 直接核对两类核心信息:
    • 作业实际成功启动的Executor总数量,逐个记录每个Executor绑定的节点Host,判断所有Executor是跨两个数据节点分布,还是全部集中在单个节点上
    • 每个Executor的内存、CPU实时占用率,判断是否存在大部分Executor长期零计算、资源占用率接近0的空转状态
  • 注意:主节点上的Spark Driver进程不属于业务计算资源,统计可用计算能力时要排除主节点。按照你提供的集群配置,2个数据节点总共有32GB内存、8核vCPU,扣掉YARN、NodeManager、HDFS DataNode自身占用的约4-6GB内存、1-2核CPU,实际可分配给Spark业务作业的资源为约26GB内存、6核CPU,你可以对照这个值判断作业有没有拿满配额。

二、从日志特征反推任务实际分布

  • 你观察到的仅单个容器输出业务日志、其余容器只有Allocation Failure类GC记录,是典型的任务分配不均的表现,不是其余容器没有正常启动:
    • 空转的Executor因为没有业务计算、数据读写的内存开销,堆内存长期处于低水位,一旦有少量JVM内置对象分配触发年轻代空间不足,就会输出Allocation Failure的GC日志;因为没有承接实际业务任务,自然不会出现业务代码的输出日志。
    • 可在任意一个空转Executor的日志中,搜索你的业务代码专属关键词(比如自定义日志前缀、写入的数仓表名、消费的Kafka Topic名称),如果检索不到相关内容,即可证明该Executor从作业启动至今没有承接任何业务计算任务。
  • 结合你提供的GC日志计算:该容器的总堆内存为241536K(约236MB),和你尝试设置的大规格executor内存参数完全不匹配,说明这个容器要么是YARN分配的辅助类容器,要么是没有拿到实际计算配额的空转Executor,不属于正经的业务计算节点。

三、EMR集群层的资源核验

  • 登录EMR控制台,切换到实例板块,查看两个数据节点的实时资源利用率:
    • 如果仅单个数据节点的CPU、内存长期处于高位,另一个数据节点的CPU、内存长期空闲,即可证明所有计算任务确实全部压在单个节点上。
  • 作业提交时可添加--conf spark.logConf=true参数,作业启动日志会打印所有实际生效的Spark配置,重点核对以下配置的最终生效值:
    • spark.executor.instances:实际分配的Executor总数量
    • spark.executor.cores:单个Executor绑定的CPU核数
    • spark.executor.memory:单个Executor分配的内存大小
    • spark.dynamicAllocation.enabled:如果启用动态资源分配,需核对动态分配的Executor数量上下限,判断是否因扩容条件未触发,仅拉起了最低配额的单Executor

四、常见的单节点承接全部任务的触发原因

  • Kafka消费并行度不足:如果DirectStream的消费并行度绑定Kafka Topic的分区数,但对应Topic实际只有1个分区,无论配置多少个Executor,只有1个线程能消费到数据,其余Executor会全程空转。
  • DStream分区配置错误:如果从Kafka读出的数据流直接调用repartition(1),所有数据都会被集中到单个分区,由单个Executor承接全部计算。
  • YARN调度策略限制:EMR默认采用Capacity Scheduler,如果所在资源队列的配置仅允许你的作业在单个节点上申请资源,就会出现所有Executor全被调度到同一个数据节点的情况。

内容的提问来源于stack exchange,提问作者mt_leo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 01:36:06