CentOS 7.4 RT内核下大量进程陷D状态致服务器卡顿求助

问题概述 #

在搭载3.10版本RT内核的CentOS 7.4系统运行高性能应用时，systemd、runc init、umount等进程偶尔会进入不可中断的'D'状态，且调用栈前三层完全一致：

1. wait_rcu_gp+0x5e/0x80
2. synchronize_rcu.part.46+0x1f/0x40
3. synchronize_rcu+0x18/0x20
4. namespace_unlock+0x68/0x80
5. SyS_umount+0x25c/0440
6. system_call_fastpath+0x25/0x2a

随着这类进程增多，服务器逐渐卡顿，SSH无法连接但ping保持正常。另外，通过trace-cmd list -f|grep synchronize查到的synchronize_rcu.part.46符号，在内核源码中无法直接找到。

原因分析与解决方法 #

1. RT内核RCU调度缺陷 #

3.10版本的CentOS RT内核存在RCU同步机制的调度bug：高负载下RT线程会抢占普通线程，导致RCU宽限期（grace period）无法及时完成，wait_rcu_gp持续等待，进程陷入D状态。

• 临时缓解：降低非关键RT进程的优先级，避免其长时间占用CPU：

  chrt -f -p 50 <目标进程PID>
  

• 彻底修复：升级内核至CentOS官方提供的最新RT稳定版本（如3.10.0-1160.el7.rt56.1139及以上），该版本修复了多个RCU相关的调度问题。

2. 容器命名空间销毁的RCU阻塞 #

调用栈指向namespace_unlock触发synchronize_rcu，说明高并发创建/销毁容器时，命名空间销毁流程中的RCU同步被阻塞，这在runc相关场景中尤为明显。

• 优化容器管理：减少不必要的容器创建/销毁操作，复用现有容器实例。
• 清理残留命名空间：用lsns检查并清理无用的命名空间：

  lsns -t pid | grep -v PID | awk '{print $4}' | xargs kill -9
  

3. 关于synchronize_rcu.part.46符号的说明 #

这个带.part.46后缀的符号是编译器编译内核时自动拆分生成的，对应源码中的synchronize_rcu函数核心逻辑。可以通过内核符号表验证：

nm /usr/lib/modules/$(uname -r)/build/vmlinux | grep synchronize_rcu

输出中会同时显示synchronize_rcu及其拆分出的.part版本符号，二者属于同一函数的不同编译片段。

总结 #

该问题属于CentOS 7.4 3.10 RT内核的已知缺陷，优先推荐升级内核到最新稳定RT版本，同时优化系统负载和容器生命周期管理，避免RCU同步被长时间阻塞。

内容的提问来源于stack exchange，提问作者alanZhang