Rocky Linux 8.5下Intel MPI的mpirun无报错挂起问题咨询

即使将I_MPI_DEBUG参数设置为100，mpirun运行时仍会挂起，且不展示任何错误信息。

运行任意IMB-*基准测试，甚至执行显示主机名这类简单任务时都会触发该问题。

执行命令mpirun -n 2 hostname时，进程会直接挂起，始终不返回任何输出或错误信息。

• 操作系统：Rocky Linux release 8.5 (Green Obsidian)
• MPI版本：Intel(R) MPI Library for Linux* OS, Version 2019 Update 12, Copyright 2003-2021, Intel Corporation.

[pid 19786] sched_setaffinity(0, 8, [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]) = 0
[pid 19786] nanosleep({tv_sec=0, tv_nsec=0}, 0x7ffc04672b50) = 0
[pid 19786] openat(AT_FDCWD, "/sys/devices/system/node/node0/cpulist", O_RDONLY) = 6
[pid 19786] fstat(6, {st_mode=S_IFREG|0444, st_size=0, ...}) = 0
[pid 19786] fstat(6, {st_mode=S_IFREG|0444, st_size=0, ...}) = 0
[pid 19786] lseek(6, 0, SEEK_SET)       = 0
[pid 19786] lseek(6, 0, SEEK_SET)       = 0

从strace日志的挂起点看，异常出现在MPI进程初始化阶段读取NUMA拓扑信息的环节，按以下优先级排查：

• 先验证sysfs下NUMA配置文件可用性：直接执行cat /sys/devices/system/node/node0/cpulist，确认文件可正常读取、返回值为节点0对应的CPU编号范围。若读取卡顿、返回空内容，说明内核NUMA子系统异常或sysfs挂载故障，可尝试重新挂载sysfs或重启节点恢复。
• 临时关闭MPI自动绑核逻辑验证：执行export I_MPI_PIN=off禁用Intel MPI默认的NUMA亲和性自动绑定，再运行mpirun -n 2 hostname测试。如果关闭绑核后任务正常运行，说明自动绑核逻辑和当前系统识别到的NUMA拓扑存在冲突，后续可手动指定绑核规则替代自动识别。
• 验证本地免密登录链路：MPI启动多进程时Hydra管理器需要通过SSH无密连接执行节点，依次执行ssh localhost hostname、ssh 本机节点IP hostname，确认登录过程不需要输入密码、没有卡顿（常见卡顿原因包括shell启动脚本输出多余内容、autofs挂载的网络目录不可达、登录触发的安全审计逻辑阻塞），存在异常时先修复免密配置和登录链路卡顿问题。
• 检查系统安全与资源限制：临时执行setenforce 0关闭SELinux、systemctl stop firewalld停止防火墙，再重试任务，排除安全规则拦截本地进程间通信的问题；同时执行ulimit -a确认最大打开文件数、最大用户进程数阈值满足运行要求，避免进程启动被资源限制卡住。
• 开启管理器级调试日志定位卡点：设置环境变量export I_MPI_HYDRA_DEBUG=1，同时执行mpirun -n 2 -vv hostname开启mpirun的冗余日志，可直接看到启动流程具体卡在哪个步骤。
• 检查共享内存分区状态：执行df -h /dev/shm确认分区没有被占满、普通用户有读写权限，Intel MPI本地进程间通信默认依赖该共享内存分区，分区异常会导致进程初始化阻塞。

内容的提问来源于stack exchange，提问作者dev-123