进阶使用

1 队列设置

EMR 中 YARN 默认使用 CapacityScheduler 调度器，如有需要，可在 EMR页面服务列表 > YARN > 服务参数 > yarn-site 中，配置 yarn.resourcemanager.scheduler.class 参数。
以下队列配置如果没有特别声明，默认通过EMR页面服务列表 > YARN > 服务参数 > capacity-scheduler 进行修改。

1.1 队列基本设置

YARN 队列是树状组织的，所有队列都是 root 队列的子队列，队列路径表示队列的层级关系，不同层级间通过.进行分隔。集群所有资源都挂在 root 队列下，子队列可以根据配置划分父队列的资源（不指定划分默认可以共用父队列的资源）
可以通过以下配置设置队列

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>a,b,c</value> #设置root队列下有三个子队列，分别为root.a，root.b和root.c，可以共用root 队列的总资源
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.a.queues</name>
  <value>a1,a2</value> # root.a队列下又划分两个子队列，分别问root.a.a1和root.a.a2
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.b.queues</name>
  <value>b1,b2,b3</value> # root.b.b1,roor.b.b2,root.b.b3
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

对于每个队列路径，例如 root.a.a1，可以在配置文件中配置队列用量的基本属性

除按比例配置队列容量，还可以使用yarn.scheduler.capacity.<queue-path>.capacity和yarn.scheduler.capacity.<queue-path>.max-capacity配置绝对容量，比如[memory=10240,vcores=12]。
还可通过配置限定队列中的作业数量

更多队列基本设置可参照 https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

1.2 队列权限设置

YARN 队列支持为用户设置特定的访问权限，特定队列的访问权限分为两种：提交作业权限和队列管理权限。
开启队列权限需要在 yarn-site 中设置 yarn.acl.enable 为 true（若 yarn 开启 ranger 权限管控则该配置默认为 true，但该种情况建议使用 ranger 管理 YARN 的队列权限，不建议再重复设置）。
可通过设置 yarn.admin.acl 来指定特定用户拥有 YARN admin 的操作权限，默认为 yarn 用户。用户的设置逻辑为：

• 多用户间用逗号分隔

• 为空表示没有任何用户有该项权限

• 可用*表示任意用户都有该权限

设置特定队列的权限：

1.3 抢占配置

Yarn 支持任务抢占。任务抢占分为队列间抢占和队列内抢占，其中队列间的抢占默认开启。如果要配置抢占，需要在 yarn-site.xml 里打开抢占功能，并在 capacity-scheduler.xml 里做具体配置。

• yarn-site.xml

• capacity-scheduler.xml