YARN容器如何使用分配的CPU？CPU调度限制规则是怎样的？

首先明确核心前提：YARN的CPU资源限制逻辑完全取决于集群是否开启了Cgroups CPU硬隔离特性，两种场景下的运行逻辑完全不同：

1核容器运行多线程CPU密集任务的资源占用逻辑 #

• 未开启Cgroups硬隔离：YARN配置的CPU核数仅为调度阶段的权重参考，不会做实际的使用上限限制。你在1核配置的容器中启动多个CPU密集线程时，只要节点有空闲CPU资源，JVM就会调度线程到空闲核上运行，最高可以占满节点所有CPU，会直接抢占其他容器的CPU时间片，明显影响其他容器的CPU性能。
• 开启Cgroups硬隔离：CPU核数为容器的硬配额上限，Cgroups会限制容器内所有进程的CPU总使用率不超过申请的核数。就算你启动100个CPU密集线程，所有线程的总CPU占用最多只能到1核的水平，完全不会抢占其他容器的CPU资源，也不会对其他容器的CPU性能产生影响。

10核主机单1核容器的CPU性能占比 #

• 未开启Cgroups硬隔离：节点无其他负载的情况下，该容器可以用满全部10核CPU，性能远高于主机总CPU性能的10%。
• 开启Cgroups硬隔离：无论节点是否有空闲资源，该容器的CPU总占用上限就是1核，性能约为主机总CPU性能的10%。

生产环境常见配置说明 #

目前绝大多数企业生产环境的YARN集群都会开启Cgroups硬隔离，避免个别作业异常占用过多CPU导致节点整体负载过高、其他任务运行超时。如果你的集群开启了该特性，按照实际算力需求申请对应CPU核数即可，超配线程只会在容器配额内调度，不会影响其他业务。

内容的提问来源于stack exchange，提问作者lalala