MPI comm.size始终为1问题求助：多进程运行异常排查

问题复现 #

执行命令：

mpirun -np 4 python test_mpi.py

test_mpi.py 代码：

from mpi4py import MPI
import mpi4py

comm = MPI.COMM_WORLD

print(f"Hello from {comm.rank} of {comm.size}")

实际输出（C脚本测试结果一致）：

Hello from 0 of 1
Hello from 0 of 1
Hello from 0 of 1
Hello from 0 of 1

预期输出：

Hello from 0 of 4
Hello from 1 of 4
Hello from 2 of 4
Hello from 3 of 4

环境：pyenv管理的Python环境，已在环境内完成mpi4py及MPI相关安装。

解决思路 #

1. 验证MPI版本一致性 #

• 查看当前使用的mpirun版本及路径：

  which mpirun
  mpirun --version
  

• 在pyenv环境内查看mpi4py编译依赖的MPI信息：

  python -c "import mpi4py; print(mpi4py.get_config())"
  

• 若两者路径/版本不匹配，重新在pyenv环境内编译安装mpi4py，指定正确的MPI编译器路径：

  MPICC=/path/to/your/mpi/bin/mpicc pip install mpi4py --no-cache-dir
  

2. 绕过pyenv shims直接调用Python #

pyenv的shims机制可能干扰MPI进程间的通信域创建，尝试使用pyenv环境的Python绝对路径执行脚本：

# 先获取pyenv环境的Python路径
PY_PATH=$(pyenv which python)
mpirun -np 4 $PY_PATH test_mpi.py

3. 调整MPI启动参数 #

• 针对OpenMPI，添加--oversubscribe参数绕过本地资源限制：

  mpirun -np 4 --oversubscribe python test_mpi.py
  

• 检查是否存在手动设置的MPI环境变量干扰：

  echo $MPI_COMM_WORLD_SIZE
  # 若输出为1，执行unset解除
  unset MPI_COMM_WORLD_SIZE
  

4. 排除系统级MPI配置问题 #

• 在系统默认Python环境下测试MPI是否正常运行，若正常则确认问题出在pyenv与MPI的集成；
• 检查系统MPI的配置文件（如OpenMPI的ompi.conf）是否存在进程数限制，或当前用户是否有足够权限启动多进程。

内容的提问来源于stack exchange，提问作者Arya Anantula