非抢占式PriorityClass无调度回退：如何控制K8S Job调度决策？

针对你这个非抢占式Job的优先级调度问题，有几个可行的实践方案，能确保高优先级Job优先获得调度机会，避免低优先级Job占用资源导致高优先级任务无法调度：

K8S默认调度器的队列排序逻辑虽以优先级为基础，但当低优先级Pod能立即匹配资源、而高优先级Pod暂时无法调度时，调度器会优先处理低优先级任务。你可以修改调度器配置，强化优先级权重，让调度器优先尝试调度高优先级Pod，即使它们暂时无法满足资源，也不会先去调度低优先级的。

具体操作：

• 编辑kube-scheduler对应的ConfigMap配置，在profiles的plugins节点下配置QueueSort插件参数，强化优先级排序的权重：

apiVersion: kubescheduler.config.k8s.io/v1beta3
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
  plugins:
    queueSort:
      enabled:
      - name: PrioritySort
      config:
        apiVersion: kubescheduler.config.k8s.io/v1beta3
        kind: PrioritySortArgs
        allowHigherPriority: true
        sortPriority: true

• 重启kube-scheduler使配置生效。之后调度器会将高优先级Pod放在调度队列最前端，每次调度都会优先尝试为高优先级Pod匹配节点，只有当高优先级Pod确实无可用资源时，才会处理低优先级任务。

通过资源隔离机制，确保高优先级Job拥有独立的资源池，不会被低优先级Job抢占：

• 节点污点+容忍：给专属节点打上污点（如priority=high:NoSchedule），同时给高优先级Job配置对应容忍规则和nodeSelector，限制低优先级Job无法调度到这些节点，保障高优先级任务的资源可用性。
• 资源配额绑定优先级类：创建ResourceQuota，指定仅高优先级类的Pod可使用配额内资源：

apiVersion: v1
kind: ResourceQuota
metadata:
  name: high-priority-quota
spec:
  hard:
    cpu: "10"
    memory: 20Gi
  scopeSelector:
    matchExpressions:
    - operator: In
      scopeName: PriorityClass
      values: ["high-priority"]

跳过K8S调度器的不确定性，在你的批处理应用上层实现优先级排队逻辑：

• 用Redis有序集合或其他队列组件维护待提交Job的优先级队列，按优先级从高到低排序。
• 你的应用仅从队列头部取出高优先级Job提交到K8S，待该Job的Pod全部进入运行状态（或完成）后，再提交下一个高优先级任务；待所有高优先级Job处理完毕，再处理低优先级任务。
• 这种方式可控性极强，无需修改K8S集群配置，仅需额外开发少量排队逻辑，适合批处理场景。

若默认调度器的调整无法满足需求，可开发或使用第三方自定义调度器：

• 自定义调度器核心逻辑：每次调度时优先筛选所有pending的高优先级Pod，尝试为其匹配节点；只有当高优先级Pod全部调度完成（或确实无资源可用），再处理低优先级Pod。
• 可基于K8S调度器框架开发，也可直接使用Argo Workflows这类支持Job优先级与排队的第三方批处理调度工具。

内容的提问来源于stack exchange，提问作者Saveriu CIANELLI