You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

MPI执行mpirun报ORTE路由错误无法连通目标节点问题咨询

故障现象

已完成并行化改造的代码整体运行正常,仅单节点触发ORTE路由错误,其余所有节点运行无异常。

  • 触发命令:mpirun -host 169.254.10.110:1 ptmm
  • 异常特征:目标节点可通过ping正常连通,但MPI程序无法访问
  • 按报错提示添加routed=direct参数执行mpirun --mca routed direct -host 169.254.10.110:1 ptmm后,仍弹出相同错误
完整报错信息
--------------------------------------------------------------------------
ORTE does not know how to route a message to the specified daemon
located on the indicated node:

  my node:   raspberrypi
  target node:  169.254.10.110

This is usually an internal programming error that should be
reported to the developers. In the meantime, a workaround may
be to set the MCA param routed=direct on the command line or
in your environment. We apologize for the problem.
--------------------------------------------------------------------------
根因与修复方案

routed=direct参数写法本身没有错误,不生效的核心原因是169.254.0.0/16属于链路本地自动分配地址段,ORTE(Open MPI的运行时环境)默认不会将这类地址纳入全局路由拓扑表,即使指定直连路由,守护进程启动阶段的节点身份匹配环节就已经失败。按以下步骤排查修复:

  • 给故障节点配置同网段静态私有IP(推荐使用192.168.x.x、10.x.x.x这类标准私网段,不要使用169.254链路本地地址),同时在所有节点的/etc/hosts文件中配置各节点IP与主机名的静态映射,避免反向解析拿到链路本地地址。
  • 逐节点检查OpenMPI版本,确保主节点与所有计算节点的OpenMPI版本完全一致,版本不匹配是ORTE路由识别失败的常见诱因,可通过mpirun --version、ompi_info --version分别在主、从节点执行比对。
  • 验证主节点到故障节点的免密SSH登录正常,MPI依赖SSH通道在远端拉起orted守护进程,SSH免密配置失效时,即使网络层ping通也无法正常启动MPI任务。
  • 若临时测试不想修改IP配置,可同时指定通信网卡绕过自动识别逻辑,命令参考:mpirun --mca routed direct --mca oob_tcp_if_include <本地通信网卡名> -host <目标节点IP>:1 ptmm
更换WiFi网络的兼容性说明

相同代码和命令只要满足以下条件即可正常运行:

  • 所有节点接入同一WiFi二层网络,关闭AP/客户端隔离功能,节点间可正常互ping
  • 节点防火墙放开MPI通信使用的TCP端口,或临时关闭防火墙做连通性验证
  • 为所有节点配置静态WiFi IP,避免DHCP动态分配导致IP漂移、主机映射失效
  • 注意WiFi网络的延迟、丢包率普遍高于有线以太网,大通信量的并行计算任务会出现性能下降,甚至因超时触发通信错误,仅适合小数据量场景测试。

内容的提问来源于stack exchange,提问作者Enzo Basile

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.01 23:54:33