PyTorch分布式训练使用gloo后端初始化进程组时触发RuntimeError

这个报错是Gloo后端在自动选择网络接口时出了问题——它尝试绑定到0.0.0.27这个IP，但你的系统里并没有对应这个IP的网络接口。而NCCL能正常运行是因为它的网络适配逻辑和Gloo不同，默认会优先适配GPU相关的通信链路，避开了这个接口选择的问题。

下面是几个可行的解决办法：

方法1：手动指定Gloo使用的网络接口 #

最简单的方式是强制Gloo使用本地回环接口（因为你的MASTER_ADDR设的是127.0.0.1，本地通信完全够用），只需要在初始化分布式环境前添加一行环境变量设置：

修改你的init_process函数如下：

def init_process(rank, size, fn, backend='gloo'):
    """ Initialize the distributed environment. """
    os.environ['MASTER_ADDR'] = '127.0.0.1'
    os.environ['MASTER_PORT'] = '29500'
    # 指定Gloo使用本地回环接口
    os.environ['GLOO_SOCKET_IFNAME'] = 'lo'
    dist.init_process_group(backend, rank=rank, world_size=size)
    fn(rank, size)

如果你需要用实际的网卡进行跨机器通信，可以先用ifconfig（Linux）或ipconfig（Windows）查看可用的网卡名称（比如eth0、ens33），然后把lo替换成对应的网卡名即可。

方法2：检查并修复系统网络配置 #

如果不想硬编码接口名称，可以检查你的系统网络配置：

• 执行ip addr（Linux）查看所有网络接口的IP，确认0.0.0.27是否属于某个存在的接口
• 如果这个IP是无效的，可以通过修改网络配置移除它，或者重启网络服务让Gloo能自动识别到正确的可用接口

验证修改 #

修改后重新运行你的run.py，Gloo后端应该能正常初始化分布式环境了，不会再抛出找不到接口的RuntimeError。

内容的提问来源于stack exchange，提问作者weleen