火山引擎 E-MapReduce(EMR)控制台支持您对 YARN 集群队列的 Node Label(即资源池)进行可视化管理,并且支持可以把 Node Label 的资源分配到不同的队列上,包括 Node Label 资源设置、队列容量设置等。
说明
该功能属于 YARN 组件在 EMR 的增强能力,所有配置都能以手动修改 YARN 配置文件的方式实现。
前提条件
- 只支持 YARN 队列创建一个子层级,如:root.level1。
- 只支持 YARN Capacity Scheduler 调度器。
使用说明
开启资源池管理
- 在服务管理 > YARN > 服务操作下拉框中,选中开启 Node-Label选项。
- 勾选后允许配置将队列运行在由指定的实例集合组成的资源组上。
创建资源池
- 点击服务管理 > YARN > 创建资源池按钮,打开创建资源池页面。
- 填写资源池标签。
- 关联队列
- 系统会列出当前所有叶子队列,勾选队列就可以将该队列的提交资源指向对应的资源池。
- 勾选队列对应的资源百分比,是该队列定最少使用该资源池资源的百分比。
- 勾选队列对应的最大资源百分比,非必填,如果不填则该队列最大也只能使用对应的资源画,是该队列定最少使用该资源池资源的百分比;如果填写了,则表示队列可在资源池有资源的情况下,最大能使用资源的百分比。
- 资源池节点组
- 系统会列出所有的 CORE 和 TASK 节点组下的实例,可以选择任意的实例组成资源池。
- 一个实例只能在一个资源池中选择。
管理资源池
- 资源池列表
- 已关联的资源池,将会在列表中显示资源汇总、实例明细、已关联队列等信息。
- 允许编辑资源池,修改队列参数或实例关联。
- 允许删除资源池,资源池及其对应关系将被删除
- Default 资源池
- 在开启了资源池管理后,未分配到资源池的资源,系统会预设一个固定的 Default 资源池显示这部分资源,这个资源池不允许编辑。