SageMaker Studio中100%使用率含义及实例规格适配疑问

CPU使用率统计规则 #

• 内核CPU使用率：统计当前Jupyter内核进程的CPU总占用，采用和top命令一致的单进程统计逻辑：单核心满负载计为100%，如果内核进程占用N个核心满负载，数值就会达到N*100%，上限等于实例vCPU总数乘以100%。
• 实例CPU使用率：统计整个EC2实例所有进程的CPU总占用，采用全局合并统计规则，所有核心总满负载为100%，和Windows任务管理器的CPU统计逻辑一致，数值最高为100%。

常见使用疑问解答 #

• 实例使用率只有25%是不是规格选高了？
  这个现象和你的代码并行能力直接相关：Jupyter默认内核是单线程执行的，你在notebook里直接运行的代码默认只占用1个核心，如果你用的是4vCPU的实例，单核心满负载刚好对应实例总使用率25%，哪怕你换更小规格的多核心实例，单线程代码也最多打满1个核心，自然不会把实例总使用率拉满。如果你的代码本身没有做多进程/多线程优化，确实可以选核心数更少的实例降低成本。
• 用joblib跑并行任务时，为什么内核使用率很低，资源都算在实例侧？
  joblib执行并行任务时会启动独立的子进程处理任务，这些子进程不属于Jupyter内核进程本身，所以不会计入内核使用率，只会统计到整个实例的总资源占用里，属于正常现象。如果要最大化实例资源利用率，你可以给任务调整更高的并行数，直到实例总使用率接近100%即可。

内容的提问来源于stack exchange，提问作者IBBoard