跨多计算节点调用OpenCL设备是否需MPI及典型实现方式

1. 跨多计算节点调用OpenCL设备是否必须使用MPI？ #

不是必须，但MPI是行业最常用的解决方案之一。OpenCL本身是单节点原生API，没有内置跨节点设备发现与调度的能力。要实现跨节点调用，你需要依赖分布式通信框架来协调不同节点上的OpenCL上下文——除了MPI，也可以用自定义TCP/IP通信或其他分布式并行库，但MPI因成熟度高、适配HPC集群环境，是主流选择。

2. 使用SLURM/PBS调度器时，跨节点调用64块GPU（8块/节点）的典型方式 #

首先明确：clGetDeviceIDs()只能枚举当前进程所在节点的本地设备，不可能直接获取到其他节点的64块GPU。

典型实现流程是结合调度器的任务分配与MPI：

• 编写SLURM/PBS脚本，申请8个计算节点（每个节点含8块GPU），通过SLURM的srun或PBS的mpiexec启动MPI进程，通常每个节点分配1个或多个MPI进程（比如每个节点1个进程，共8个进程）。
• 每个MPI进程在本地节点调用clGetDeviceIDs()获取8块GPU，创建对应的OpenCL上下文与命令队列。
• 通过MPI完成不同节点进程间的数据传递、任务同步，实现跨节点的分布式计算。

你也可以通过SLURM的--ntasks-per-node参数控制每个节点的进程数，比如给每块GPU分配1个进程（共64个进程），每个进程仅绑定本地的一块GPU，实现更细粒度的设备调度。

内容的提问来源于stack exchange，提问作者Redshoe