OpenMPI集群节点无法识别其他节点IP，跨节点通信故障求助

网络连通性基础验证 #

• 所有节点间用ping <目标节点eth0 IP>双向测试，确保IP层面无丢包、延迟正常
• 用telnet <目标节点IP> 22验证SSH端口互通，同时确认所有节点已配置无密码SSH登录，且sshd_config未限制IP访问

OpenMPI参数与配置校准 #

• 强制MPI仅使用TCP通信，执行任务时添加参数：--mca btl self,tcp --mca oob tcp，禁用可能冲突的通信模块
• 统一所有节点的/etc/hosts文件，确保每个节点的主机名与eth0 IP的映射完全一致，避免主机名解析错误
• 运行ompi_info | grep btl检查加载的BTL模块，确认tcp模块已启用且无异常

Slurm配置检查 #

• 查看slurm.conf中的NodeName配置，确保每个节点的Addr字段填写eth0的IP，而非localhost或其他网卡地址
• 执行sinfo -N -l确认所有节点处于IDLE状态，且节点列表对应的IP正确
• 提交任务时显式指定MPI兼容模式，在sbatch脚本中添加：#SBATCH --mpi=openmpi（或pmix，根据OpenMPI版本选择）

日志与调试定位 #

• 运行任务时添加--verbose参数，或设置环境变量export OMPI_MCA_verbose=1，获取MPI启动的详细调试日志
• 查看Slurm任务日志（slurm-<任务ID>.out）及节点上的/var/log/slurm/slurmd.log，定位具体错误信息（如连接超时、解析失败）

额外排查项 #

• 用ntpq -p验证所有节点时钟同步，时钟偏差会导致MPI/Slurm通信异常
• 确认所有节点的OpenMPI版本完全一致，运行mpicc --version比对输出，版本不匹配是跨节点通信失败的常见诱因

内容的提问来源于stack exchange，提问作者Todd Spencer