基于NVIDIA MPS的细粒度Kernel调度优先级支持相关问询

现有官方版本MPS的支持情况 #

目前所有正式发布的NVIDIA CUDA版本中，MPS并未原生支持用户自定义的进程级Kernel调度优先级能力。其默认调度逻辑完全依托GPU硬件的上下文抢占与资源分配机制：当GPU计算、显存资源充足时，会并发调度不同客户端进程的就绪Kernel，无内置的进程优先级判定逻辑，因此你提到的三种优先级调度模式无法通过原生MPS的配置直接实现。

自定义实现该能力的修改方案 #

如果需要实现你描述的优先级调度逻辑，需要对MPS的核心服务模块进行定制化修改，核心修改点如下：

• 新增优先级标识传递与存储逻辑：修改MPS客户端与服务端的内部通信协议，增加优先级字段传递入口，允许用户启动客户端进程时指定对应优先级参数；同时修改MPS服务端的进程上下文管理模块，为每个客户端进程绑定存储对应的优先级属性
• 重写服务端Kernel调度队列逻辑：将MPS服务端原有无优先级的就绪Kernel队列，替换为支持多优先级排序的调度队列。针对你提到的三种调度模式，分别适配逻辑：
  1. 高优先级进程独占模式：当高优先级进程存在待执行Kernel时，仅调度高优先级进程的Kernel，直到高优先级队列为空后再调度低优先级进程的Kernel
  2. 优先级顺序执行模式：按照进程优先级从高到低的顺序依次调度对应进程的Kernel，同优先级进程的Kernel保持原有顺序执行
  3. 同优先级并发模式：仅同优先级进程的Kernel会在资源充足时并发执行，低优先级进程的Kernel必须等待所有更高优先级的就绪Kernel执行完成后才会被调度
• 新增调度模式配置入口：可以通过环境变量或者MPS控制命令行工具，允许用户动态切换当前生效的调度策略，适配不同的业务场景

注意：上述修改需要适配对应版本的CUDA驱动内核模块，修改完成后需要经过严格的功能、稳定性测试，避免出现Kernel调度异常、显存泄漏、进程崩溃等问题。

内容的提问来源于stack exchange，提问作者Ubaid Ullah Hafeez