集群节点数超95时mpirun进程卡住，如何排查根本原因？

系统级资源限制排查 #

• 检查文件描述符限制：执行ulimit -n查看当前单进程可用文件描述符数量，OpenMPI管理大量节点会消耗大量套接字连接，超过95节点时可能触达上限。临时调高测试：ulimit -n 65536，再运行mpirun验证。同时检查系统级配置/etc/security/limits.conf，确保nofile的软/硬限制足够高（如65536）。
• 检查进程数限制：执行ulimit -u确认单进程可创建的最大进程数，主节点mpirun需要fork大量进程管理工作节点，若上限不足会导致无法启动全部节点进程。同样检查limits.conf中的nproc配置。

OpenMPI配置与参数调整 #

• 调整连接超时参数：运行时添加--mca btl_base_timeout 60将通信超时设置为60秒（默认较短），避免多节点并发连接时因超时导致卡住；也可单独调整TCP超时--mca btl_tcp_timeout 60。
• 强制指定通信模块：禁用可能存在兼容性问题的非TCP模块，命令添加--mca btl ^openib,usnic，仅使用TCP通信，排查是否是其他通信模块导致的问题。
• 验证SSH连通性：强制用SSH启动进程，命令添加--launcher ssh，同时手动测试主节点到第96-128台工作节点的SSH免密登录，确保每台都能快速执行命令（如ssh nodeXX hostname），排除个别节点SSH故障。

网络层面排查 #

• 测试网络质量：用ping -f nodeXX对单台工作节点进行 flood ping，查看丢包率；用iperf测试主节点与单台、多台工作节点同时通信的带宽，确认是否存在网络瓶颈。
• 检查KVM网络配置：若虚拟机使用NAT模式，可能因端口耗尽导致连接失败，尝试切换为桥接模式；查看宿主机的iptables/nftables规则，确认是否有拦截大量并发TCP连接的策略；检查宿主机网络转发性能，用netstat -s查看TCP统计信息，是否有大量重传或错误。

日志与调试信息收集 #

• 启用OpenMPI详细调试：设置环境变量export OMPI_MCA_orte_debug=1后再运行mpirun，生成详细的启动日志，查看卡在节点初始化、通信握手的哪个阶段；也可添加--mca mpi_show_mca_params all查看所有加载的MCA参数配置。
• 检查系统日志：查看主节点和工作节点的/var/log/syslog，搜索mpirun、orte、openmpi相关条目，是否有隐性报错；执行dmesg查看内核日志，排查是否有资源不足、网络栈错误等信息。

虚拟机与宿主机层面排查 #

• 监控宿主机资源：运行vmstat 1、iostat 1监控宿主机的CPU、内存、磁盘IO、网络IO，确认95+节点运行时是否出现资源耗尽。
• 优化虚拟机内核参数：检查32位系统的内核参数，比如/proc/sys/kernel/pid_max确认进程数上限；开启TCP连接复用echo 1 > /proc/sys/net.ipv4.tcp_tw_reuse，加速TIME_WAIT状态连接的回收，避免端口耗尽。

版本与兼容性验证 #

• 升级/降级OpenMPI：尝试升级到OpenMPI v4.1.5或更高稳定版，排查是否是v4.1.0的已知bug；也可降级到v4.0.x版本测试，确认是否为版本特定问题。
• 检查32位系统限制：32位系统的进程虚拟地址空间有限，OpenMPI管理大量节点时可能触达内存地址上限，可查看ulimit -v确认虚拟内存限制，尝试调高后测试。

内容的提问来源于stack exchange，提问作者Henry Cocos