如何核查MPI运行所需全部前置条件是否满足并验证集群配置符合预期要求？

一、MPI正常运行的前置条件落地核查 #

所有核查项要求跨节点100%对齐，任意一项不满足都可能导致运行时故障：

• 基础系统环境一致性核查
  逐节点执行uname -r、ldd --version，确认所有计算节点的内核版本、glibc大版本完全匹配；逐节点检查MPI依赖的基础组件（openssh-server、libfabric、UCX驱动、InfiniBand网卡驱动）是否正常安装，无缺失。
  跨节点系统组件版本不匹配是MPI运行时段错误、接口不兼容问题的最高发诱因，没有任何兼容方案可以绕开这个对齐要求
• 节点间网络基础连通性核查
  逐节点验证SSH免密登录配置：从控制节点到所有计算节点、计算节点两两之间执行ssh <对端节点名> hostname，确认无密码提示可直接返回对端主机名；通过ping测试确认跨节点网络无丢包，核心计算网络（InfiniBand/万兆以太网）的连通性正常，无防火墙阻断MPI常用通信端口。
  SSH免密配置不全、网络丢包是MPI作业启动超时挂死的最常见原因
• MPI运行时一致性核查
  逐节点执行mpirun --version、mpicc --version，确认所有节点安装的MPI发行版（OpenMPI/MPICH/MVAPICH2）、版本号、编译时的功能开关（比如InfiniBand支持、共享内存支持）完全一致，不存在不同节点混装不同MPI版本的情况。
  跨节点混装不同MPI发行版时，作业会直接在启动阶段报接口识别错误，根本无法进入运行流程

二、集群配置符合性的标准化校验动作 #

完成前置条件核查后，通过以下可复现的标准化测试，确认集群实际配置和设计预期对齐，从环境层规避适配故障：

• 最小规模冒烟测试
  编译一个最简的hello MPI测试程序，配置跨2个节点各1个进程的启动参数，执行mpirun -np 2 -host <节点1>,<节点2> ./hello_mpi，确认程序可以正常启动、各进程可正确获取自身节点名、无报错正常退出。
  如果冒烟测试无法通过，不需要排查更复杂的功能项，优先回头校验前置条件的对齐情况
• 全链路集合通信校验
  调用MPI自带的通信测试套件，分别在低进程密度（1进程/节点）、满核心密度（所有节点CPU核心占满）的场景下，测试点对点通信、广播、归约、全交换等核心集合通信接口的调用成功率，确认无死锁、无数据校验错误、无通信超时。
  单节点点对点连通不代表集合通信正常，这类测试可以直接暴露网卡流控配置错误、MPI路由配置不匹配等隐蔽的适配问题
• 运行用户权限与资源限制校验
  以实际运行MPI作业的普通用户身份，逐节点执行校验：确认用户UID/GID在所有节点上完全一致，MPI临时工作目录的可写权限正常，无磁盘配额限制；通过ulimit -a查看所有节点的资源限制配置，确认核心转储大小、进程可打开文件数、最大内存占用的限制值符合作业运行要求。
  这类权限类问题最隐蔽，经常表现为作业在某一节点启动到一半突然崩溃，没有明确的报错信息
• 运行时动态库路径一致性校验
  以实际运行用户身份，在所有节点执行which mpirun、ldd <MPI测试程序路径>，确认所有节点加载的MPI可执行文件路径、MPI动态库路径和设计的安装路径完全对齐，没有出现路径优先级错误、加载系统自带旧版本MPI库的情况。
  动态库版本不匹配是最难排查的适配类故障，往往表现为无规律的随机段错误，通过路径一致性校验可以完全规避这类问题

合格判定标准：所有跨节点配置项的输出与设计要求完全匹配，所有测试用例100%通过，MPI启动日志无配置不兼容、低质量链路告警，才算达到生产可用的环境要求。

内容的提问来源于stack exchange，提问作者AlekhyaV - Intel