Spark on YARN：YARN容器仅分配1核问题排查及方案咨询

监控YARN UI时，请确保动态分配未杀死容器。详见下方内容

问题场景 #

我可以为每个Executor指定任意核数来启动SparkSession，但YARN UI始终显示每个容器仅分配了1核。我尝试过多种常见的在线解决方案，但都未能解决该显示问题。

已尝试的配置方案 #

• 修改yarn-site.xml，配置使用容量调度器：

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

• 修改capacity-scheduler.xml，启用主导资源调度：

<property>
    <name>yarn.scheduler.capacity.resource-calculator</name>      
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>       
</property>

当前情况 #

完成上述配置后，YARN GUI仍然显示每个Executor仅分配1核。

此前看到有5年前的资料提到这是容量调度器的已知UI显示bug，建议切换为公平调度器，但公平调度器配置复杂，且该资料指出这只是UI报告问题，实际Executor已获得正确的核数分配。不过时隔5年，我认为这类bug应该已经被修复了。

咨询内容 #

• 该容量调度器的UI显示bug是否至今仍存在？
• 我对问题的理解是否存在偏差？
• 是否存在无需切换到公平调度器即可修复UI显示问题的方法？

内容的提问来源于stack exchange，提问作者figs_and_nuts