K8s中高CPU配置下服务周转时间缩短但CPU利用率无变化？

问题背景 #

在Kubernetes集群中部署运行Yolov3模型的Flask服务时，发现Pod CPU配置为2 cpu时推理耗时约1.5秒，配置为700m cpu时耗时约3.5秒，但两种配置下CPU利用率无明显变化。该现象同样存在于PyTorch等其他AI框架的服务中。

• 检查CPU实际绑定与核心分配
  通过kubectl exec <pod-name> -- cat /proc/self/status查看Cpus_allowed_list字段，确认Pod是否被分配到不同数量的物理核心。2 cpu可能获得2个完整物理核心，支持模型推理的多线程/指令并行（如SIMD）；而700m可能仅占用1个核心的部分时间片，限制了并行能力，导致耗时增加。

• 验证AI框架的并行线程配置
  多数AI框架会自动根据可用CPU核心数调整推理线程数：

  • Yolov3：检查darknet的num_threads配置，或启动时设置环境变量export OMP_NUM_THREADS=2
  • PyTorch：确认torch.set_num_threads()的设置，或环境变量OMP_NUM_THREADS、MKL_NUM_THREADS
    对比两种CPU配额下框架实际使用的线程数，确认是否因并行度差异导致耗时变化。

• 排查Kubernetes QoS与资源隔离
  通过kubectl describe pod <pod-name>查看Pod的QoS Class：2 cpu配置可能处于Guaranteed等级，节点会优先分配资源；700m可能为Burstable，在节点有其他负载时会被CPU节流。同时用kubectl top node检查节点整体CPU使用率，确认是否存在节点级资源竞争。

• 分析CPU利用率统计逻辑
  你看到的利用率可能是基于分配配额的使用率，而非物理CPU实际占用：

  • 700m配额下，利用率100%仅对应0.7个物理核心的占用
  • 2 cpu配额下，利用率50%就对应1个物理核心的占用
    可通过kubectl exec <pod-name> -- top查看容器内的%CPU列，对比两种配置的物理CPU实际占用率。

• 检查节点CPU特性一致性
  确认不同CPU配置的Pod是否调度到CPU特性一致的节点。部分节点支持超线程、AVX2等高级指令集，若2 cpu的Pod被调度到这类节点，会显著提升推理速度。用kubectl describe node <node-name>查看节点的CPU特性与核心信息。

• 验证CFS调度器的时间片分配
  通过以下命令查看容器的CPU调度参数：

  kubectl exec <pod-name> -- cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
  kubectl exec <pod-name> -- cat /sys/fs/cgroup/cpu/cpu.cfs_period_us
  

  可用CPU核心数 = cfs_quota_us / cfs_period_us。700m对应700000/1000000=0.7，意味着每秒仅能使用700ms的CPU时间；而2 cpu对应2000ms，即使利用率相同，前者的实际CPU可用时间更少，导致推理耗时更长。

内容的提问来源于stack exchange，提问作者Vivek Kalyanarangan