Docker环境下运行MPI程序报错：mlx5_0设备不存在

错误信息 #

[1689646357.071467] [05af046533e9:124545:0]       ib_device.c:1466 UCX  ERROR   ibv_create_ah(dlid=49152 sl=0 port=1 src_path_bits=0 dgid=fe80::1270:fdff:fe44:5170 sgid_index=0 traffic_class=0) for UD mlx5 connect on mlx5_0 failed: No such device
[1689646357.072612] [05af046533e9:124545:0]      ucp_worker.c:2657 UCX  WARN  worker 0x55741a624b40: 1 pending operations were not flushed
Abort(138006287) on node 0 (rank 0 in comm 0): Fatal error in internal_Init_thread: Other MPI error, error stack:
internal_Init_thread(60)......: MPI_Init_thread(argc=0x7ffeb4a07608, argv=0x7ffeb4a07610, required=1, provided=0x7ffeb4a0760c) failed
MPII_Init_thread(232).........: 
MPIR_init_comm_world(34)......: 
MPIR_Comm_commit(722).........: 
MPIR_Comm_commit_internal(510): 
MPID_Comm_commit_pre_hook(158): 
MPIDI_UCX_init_world(288).....: 
initial_address_exchange(145).:  ucx function returned with failed status(ucx_init.c 145 initial_address_exchange Address not valid)

错误原因 #

MPI依赖的UCX库尝试访问宿主机的InfiniBand网卡（mlx5_0），但Docker容器未正确映射该设备，或者容器环境不支持InfiniBand通信，导致设备找不到，进而触发地址交换失败的致命错误。

解决步骤 #

方法1：强制使用TCP通信（最简便） #

跳过InfiniBand/UCX，直接指定TCP作为MPI的通信后端，运行命令时添加参数：

mpirun -np 2 --mca pml ob1 --mca btl tcp,self ./hello

或者先设置环境变量再执行程序：

export OMPI_MCA_pml=ob1 OMPI_MCA_btl=tcp,self
mpirun -np 2 ./hello

方法2：容器内启用InfiniBand支持（若需IB通信） #

如果必须使用InfiniBand，启动容器时需挂载IB设备并赋予权限：

docker run --privileged -v /dev/infiniband:/dev/infiniband -it your-mpi-image

同时确保宿主机和容器内的UCX、MPI版本一致，且宿主机已正确配置InfiniBand驱动。

方法3：使用兼容的MPI容器镜像 #

直接采用官方预编译的MPI镜像，避免环境兼容问题，例如OpenMPI的Ubuntu镜像：

docker pull openmpi/ubuntu
docker run -it openmpi/ubuntu
# 进入容器后编译运行你的Hello-World程序

内容的提问来源于stack exchange，提问作者sofkrl2022