Cloudera集群FairScheduler FAIR调度策略资源分配规则咨询

核心问题结论 #

你描述的场景不会出现作业1分配25%、作业2仅分配50%的问题，FairScheduler的默认单资源FAIR策略本身就是基于max-min fairness实现的，该场景完全可以通过这套机制得到合理分配结果。

该场景下的具体分配流程 #

max-min公平机制在双作业场景下的执行步骤如下：

• 首先将集群所有可用资源平均分配给当前2个运行中的作业，每个作业初始获得50%的资源配额
• 检查作业实际资源需求：作业1仅需要25%资源，无法用完分配到的50%配额，剩余未使用的25%配额会被集群回收
• 回收的25%配额会全部分配给仍有资源需求的作业2，最终分配结果为作业1拿到25%（满足其全部资源需求），作业2拿到75%（刚好满足其资源需求）

补充说明 #

• 上述规则仅适用于单资源维度（仅统计CPU或仅统计内存）的FAIR策略配置，开启多资源调度后才会触发DRF逻辑，符合你仅关注单资源FAIR策略的需求
• 如果你所在集群的资源池配置了队列权重、最小/最大资源限制，会在基础max-min逻辑上做调整，无特殊配置的默认场景下完全遵循上述分配逻辑

内容的提问来源于stack exchange，提问作者joshuaeisberg