Cloudera 6.3多用户资源分配配置与资源池相关问题咨询

1. 第1、2项需求的配置选择 #

根据你使用的负载类型选择对应配置：

• 若交互式查询、Impala拉取数据的负载均为Impala执行：优先配置Impala动态资源池（和Impala Admission Control联动的Cloudera Manager动态资源池配置项）即可。Impala本身不依赖YARN调度资源，直接给两个业务对应的资源池设置最大资源占比分别为20%、30%就能满足上限限制要求。
• 若交互式查询包含跑在YARN上的任务（如Hive on Tez、Spark SQL交互任务）：这部分YARN侧的交互负载需要单独配置YARN队列，设置队列最大资源占比为20%即可。

2. 第3项需求的配置方式 #

不需要通过Impala Admission Control配置资源池，原因是常规ETL任务（Spark、MapReduce、Hive离线任务等）均运行在YARN上，直接配置YARN队列即可实现需求：

• 给ETL功能账号对应的YARN队列设置最小资源占比为70%，同时开启YARN资源抢占功能，即可实现ETL任务最低获取70%资源，资源紧张时可抢占前两类负载的闲置资源。
• 仅当你存在用Impala执行ETL任务的场景时，才需要额外在Impala动态资源池中给ETL对应的资源池配置最低资源保障和抢占规则。

3. root.default与root.users的含义 #

二者是YARN队列、Cloudera动态资源池默认的根层级下的默认队列/资源池：

• root.default：默认通用队列/资源池，所有提交时未指定目标队列/资源池的任务，默认会被调度到该池运行。
• root.users：用户级资源池的父队列，Cloudera Manager默认开启自动创建用户子队列的规则时，会给每个首次提交任务的用户在root.users下自动生成一个对应用户名的子队列，无需手动预先为每个用户创建队列，方便做用户粒度的资源隔离。

内容的提问来源于stack exchange，提问作者Gaurang Shah