TensorFlow verbs支持下分布式学习方式及纯IB实现技术咨询

我来拆解一下你关于TensorFlow分布式学习中InfiniBand（IB）支持的几个问题，结合实际部署经验给你梳理清楚：

答案是不需要。当TensorFlow编译时启用了verbs支持后，gRPC可以直接通过verbs的RDMA接口与IB硬件交互，完全绕开IP层的封装。不过要注意，这种模式下你不能用IP地址来指定分布式节点，而是需要直接配置IB设备的名称（比如ib0）或者对应的GUID，让TensorFlow通过verbs库直接定位到IB适配器。

TensorFlow本身不会主动扫描识别IB硬件，它依赖底层的libibverbs库来完成硬件探测和流量路由。只要你的系统正确安装了IB驱动、libibverbs以及对应的verbs插件（比如librdmacm），并且TensorFlow编译时开启了--config=verbs选项，当你指定verbs作为通信协议时，TensorFlow会调用verbs库的API直接操作IB设备，所有分布式通信流量都会通过IB的RDMA通道传输，不会走传统的TCP/IP栈。

除了Horovod，还有几种纯IB的方案可以选择：

• TensorFlow原生gRPC+verbs模式：刚才提到的这种模式本身就是纯IB实现，只要你跳过IPoIB配置，直接使用verbs协议，就可以基于IB RDMA完成分布式通信，不需要额外依赖Horovod。
• OpenMPI + TensorFlow：如果你的集群已经部署了支持IB的OpenMPI，可以通过OpenMPI的RDMA后端来启动TensorFlow分布式任务。这种模式下，TensorFlow的通信会通过OpenMPI封装的IB接口完成，本质也是纯IB的传输。
• 自定义RDMA通信算子：如果你有定制需求，可以基于libibverbs或者RDMA Core开发自定义的TensorFlow通信算子，直接实现IB级别的数据传输。不过这种方式需要具备一定的底层开发能力，适合有特殊场景需求的用户。

内容的提问来源于stack exchange，提问作者antoajayraj