什么是Hadoop YARN？求通俗易懂的示例讲解

嘿，作为Hadoop新手，能找到这么接地气的HDFS和MapReduce例子真的很棒！我来给你用同样生活化的方式讲讲YARN——它其实就是Hadoop集群的「大管家」，专门管资源调度和任务协调的，先结合你已经懂的内容来类比：

先回顾下你已经了解的角色 #

• HDFS：就像那个分散存储的全美电话簿仓库，把数据拆成小块存在不同服务器，还做备份保证安全，负责「存数据」；
• MapReduce：就像统计城市最高温度的厨师团队，把任务拆成Map和Reduce并行处理，负责「做计算」；

那YARN呢？它就是连接这两者的「调度指挥中心」，让整个集群的资源（服务器的CPU、内存）能高效分配给各种计算任务，不会出现有的服务器闲得慌、有的忙到炸的情况。

用「大型餐厅」类比YARN的核心工作 #

咱们把Hadoop集群看成一家能同时接几百个订单的大型餐厅：

• ResourceManager（RM）——餐厅总经理：
  掌管整个餐厅的所有资源：比如有多少个厨师工位（CPU核数）、多大的操作台（内存）、多少份可用食材（存储资源）。所有客人的订单（计算任务）都要先报到这里，总经理负责整体调度，决定把哪些资源分配给哪个订单。

• NodeManager（NM）——工位领班：
  每个厨师工位（服务器）都有一个领班，负责监控自己工位的使用情况：比如现在有几个厨师在干活、操作台还剩多大空间，随时向总经理汇报。同时，它会执行总经理分配的任务，比如让厨师启动Map/Reduce任务，还会盯着任务有没有出错，出错了就赶紧汇报调整。

• ApplicationMaster（AM）——订单专属主管：
  当你提交一个MapReduce任务（比如统计城市最高温度），总经理会先安排一个空闲工位启动这个订单的专属主管。这个主管会先搞清楚这个订单需要多少厨师、多大操作台，然后向总经理申请资源。拿到资源后，主管就会指挥各个工位的厨师启动Map任务，等Map任务都完成了，再安排Reduce任务，全程监控每个任务的进度，要是哪个厨师的任务出问题了，就会让领班重新安排人做，直到整个订单完成，最后把结果交给你。

结合你的MapReduce例子看YARN的作用 #

比如你要统计五个文件里的城市最高温度：

1. 你把任务提交给YARN的「总经理」（RM）；
2. RM找一个空闲的工位（服务器），让「领班」（NM）启动这个任务的「专属主管」（AM）；
3. AM告诉RM：我需要5个Map任务的资源（每个文件对应一个Map），还有1个Reduce任务的资源；
4. RM查看集群空闲情况，给AM分配对应的5个工位跑Map，1个工位跑Reduce；
5. AM通知对应的NM启动Map任务，每个Map任务处理一个文件，找出每个城市的最高温度；
6. 所有Map任务完成后，AM通知负责Reduce的NM启动Reduce任务，合并所有Map的结果，算出每个城市的最终最高温度；
7. 任务全部完成后，AM把结果返回给你，然后向RM申请释放资源，整个任务结束。

为什么需要YARN？ #

在没有YARN的早期Hadoop里，MapReduce既要管计算又要管调度，就像厨师自己既要炒菜，又要管排班、找食材，效率特别低。有了YARN之后：

• 调度和计算彻底分开，厨师（MapReduce）只需要专心干活，调度交给专门的「管家」（YARN）；
• 集群可以同时跑不同类型的任务，比如除了MapReduce，还能跑Spark、Flink这些，就像餐厅既可以做中餐，也可以做西餐，总经理都能安排得过来；
• 资源利用率大幅提升，不会出现有的工位闲得发霉，有的工位忙到冒烟的情况。

内容的提问来源于stack exchange，提问作者fukacka