Linux单核心虚拟机FIFO高优先级线程循环时延抖动问题排查

• 虚拟化层调度限制：VMware虚拟机的CPU资源由宿主机调度分配，即便虚拟机内线程设为最高优先级的SCHED_FIFO，宿主机的高优先级任务、自身调度周期或其他虚拟机的资源请求，都可能抢占虚拟机的CPU时间片，导致虚拟机内线程被挂起，出现毫秒级的时延跳变。
• 通用内核的非实时特性：你使用的Ubuntu 5.4.0-65是通用内核，未启用实时抢占（RT_PREEMPT）补丁。这类内核存在大量非抢占式代码路径（如内核临界区、部分中断处理逻辑），实时线程进入内核态后可能被阻塞；同时系统后台的内核线程（如kworker、kswapd）也可能抢占CPU资源，引发抖动。
• 单核心资源竞争：单核心CPU下，系统所有进程、线程、中断处理都共享同一核心，哪怕是低优先级的后台任务（如日志刷盘、定时任务）或突发中断，都会直接抢占实时线程的执行时间，放大时延抖动。
• 系统后台任务干扰：系统的定时任务（cron）、内存回收（kswapd）、磁盘IO同步、进程统计工具（如top、vmstat）等后台操作，会在运行时占用CPU资源，导致实时线程被延迟调度。

• 改用物理机部署：虚拟化层的调度延迟是硬限制，无法通过软件优化完全消除，物理机才能保证CPU资源的独占性和调度的实时性。
• 替换为Ubuntu实时内核：安装带RT_PREEMPT补丁的实时内核（如linux-image-rt-amd64包），实时内核将大部分内核代码改为可抢占式，大幅缩短内核态阻塞时间，降低调度延迟。
• CPU核心隔离与绑定：
  • 通过内核参数isolcpus将指定核心从系统调度池隔离（如isolcpus=0，假设实时线程用核心0），禁止其他进程、内核线程使用该核心。
  • 将实时线程通过sched_setaffinity绑定到隔离后的核心，避免资源竞争。
• 关闭不必要的系统服务与功能：
  • 禁用swap分区，避免kswapd内存回收操作干扰。
  • 停止或禁用cron、syslog等非必要后台服务，关闭日志实时刷盘功能。
  • 禁用系统的自动更新、进程统计等后台任务。
• 调整中断亲和性：将网络、磁盘等非必要中断通过irqbalance或手动修改/proc/irq/<irq_num>/smp_affinity绑定到非隔离的CPU核心，避免中断干扰实时核心上的线程。
• 优化实时线程代码：
  • 尽量减少系统调用，避免进入内核态；必须调用时，优先使用实时友好的系统调用。
  • 避免在实时线程内进行动态内存分配/释放，提前分配好所需内存。
  • 简化线程逻辑，减少循环内的复杂操作，降低单次执行的不确定性。

内容的提问来源于stack exchange，提问作者user10249913