无IB交换机时3台服务器Infiniband直连部署及OpenSM管理可行性确认

嗨，我来帮你彻底理清这个问题——你的理解完全正确，根本不需要采购那台超过2万美元的IB交换机，用现有的4张单口ConnectX-6 VPI卡加上n2上的OpenSM就能完美满足你的需求！

先拆解下你的场景核心：你只需要n1和n2通信、n3和n2通信，n1和n3完全不需要直接连接。这种拓扑下，n2上的两张单口卡分别直连n1和n3，是完全可以通过OpenSM来管理的，供应商的说法其实是误解了你的需求。

具体为什么可行？ #

• OpenSM本身支持同时管理多个InfiniBand端口，每个端口可以对应一个独立的点对点子网。你只需要在n2上配置OpenSM，让它同时监听两张单口卡的端口，分别负责n1-n2、n2-n3这两条链路的子网管理。
• 因为n1和n3不需要互通，两个子网完全独立运行，不会有任何冲突，也不需要交换机来做转发。

给你具体的操作建议 #

1. 先确认硬件识别正常：在n2上运行ibstat命令，检查两张单口卡的端口状态，确保它们都被正确识别且处于Up状态。
2. 配置OpenSM管理多端口：编辑OpenSM的配置文件（通常路径是/etc/opensm/opensm.conf），找到port配置项，把它设置为两个端口的编号或者GUID（比如写成port 1,2，具体编号可以从ibstat的输出里找到）。
3. 验证连通性：启动OpenSM服务后，分别在n1上用ibping <n2的IB端口IP/GUID>、n3上用ibping <n2的另一个IB端口IP/GUID>测试链路，确认通信正常。

额外补充几点注意事项 #

• 确保三台机器上的ConnectX-6 VPI卡固件版本一致，避免出现兼容性问题。
• 这种点对点直连的链路，带宽就是单口卡的原生带宽（比如ConnectX-6 VPI单口通常是100Gb/s），完全能满足n1、n3分别和n2通信的需求。
• 如果之后你的业务需求变化，需要n1和n3直接互通，那时候再考虑采购交换机也不迟，但目前的场景完全没必要花这笔冤枉钱。

顺便说一句，那台超过2万美元的交换机报价确实没必要——你的需求根本用不上它的多端口转发能力。

备注：内容来源于stack exchange，提问作者ilkyu tony lee