Hadoop集群容器分配疑问：低内存DataNode为何能分配容器？

这个现象其实和YARN的资源调度逻辑、内存配置密切相关，主要有以下几个可能的原因：

• 虚拟内存机制的默认允许：
  YARN默认通过yarn.nodemanager.vmem-pmem-ratio参数控制虚拟内存与物理内存的比例，默认值是2.1。也就是说，容器可以使用的虚拟内存（包含系统swap空间）是物理内存的2.1倍。你的data1、data2节点物理内存是512MB，计算下来虚拟内存上限约为1075MB，刚好超过默认的最小容器内存1024MB。NodeManager会认为节点有足够的虚拟内存资源来容纳容器，因此允许ResourceManager把任务调度到这些节点——哪怕物理内存不够，系统会通过swap来补充（当然这会导致作业运行速度极慢，甚至可能出现OOM）。

• NodeManager上报的资源与实际物理内存不匹配：
  如果部署Hadoop时，你没有针对data1、data2这类小内存节点调整yarn.nodemanager.resource.memory-mb参数，NodeManager可能会沿用默认值（比如8192MB）或者因为虚拟机环境的内存检测误差，向ResourceManager上报了远超节点实际物理内存的可用资源。ResourceManager只会依据NodeManager上报的资源数据进行调度，不会主动校验节点的真实物理内存，所以会误以为这些节点有足够的内存分配容器。

• 最小容器内存配置未被严格执行：
  虽然默认最小容器内存是1024MB，但如果作业的内存配置（比如mapreduce.map.memory.mb或mapreduce.reduce.memory.mb）被手动设置为小于1024MB的值，YARN调度器可能会优先使用作业请求的内存大小（只要不低于调度器的最小限制）。不过这种情况概率较低，因为默认的Map任务内存就是1024MB，和最小容器内存一致。

你可以通过以下方式验证：

• 查看集群中每个节点的yarn-site.xml配置，确认yarn.nodemanager.vmem-pmem-ratio和yarn.nodemanager.resource.memory-mb的取值；
• 登录YARN的WebUI（默认端口8088），查看每个节点的已上报资源情况，对比实际物理内存就能明确原因。

内容的提问来源于stack exchange，提问作者YoxBox