torch.distributed init_process_group中master的功能及通信规则问询

我学习了PyTorch官方的torch.distributed教程，看到其初始化代码如下：

def init_process(rank, size, fn, backend='gloo'):
    """ Initialize the distributed environment. """
    os.environ['MASTER_ADDR'] = '127.0.0.1'
    os.environ['MASTER_PORT'] = '29500'
    dist.init_process_group(backend, rank=rank, world_size=size)
    fn(rank, size)

特此问询：torch.distributed的init_process_group中master的功能是什么？例如在4进程分布式训练场景下，Rank 0为master，当从Rank 1向Rank 3发送张量时，torch.distributed内部的通信规则是Rank 1→Rank 0→Rank 3（经master中转），还是master仅存储所有进程IP，使Rank 1可直接与Rank 3通信？

master节点的核心功能 #

• 集群初始化协调：master是分布式集群启动阶段的协调节点，所有工作进程启动时都会先连接到master，完成自身注册，同步集群总进程数、各进程rank标识等核心信息。
• 元数据分发：master会存储整个集群的拓扑信息、各进程的网络地址等元数据，在初始化阶段分发给所有工作进程，让每个进程都能知晓集群内其他节点的通信地址。
• 进程状态监控（部分后端支持）：在gloo、nccl等主流通信后端中，master会负责监控集群内进程的存活状态，一旦有进程失联，会向其他进程同步故障信息。

跨进程通信的实际规则 #

以4进程场景为例：

• 初始化完成后，跨进程通信不需要经过master中转：当Rank 1要向Rank 3发送张量时，是Rank 1直接与Rank 3建立通信连接并传输数据，完全绕开Rank 0（master）。
• master仅在启动初期发挥作用：所有进程完成注册、拿到集群元数据后，后续的点对点通信、集体通信（如all_reduce）都是进程之间直接交互，master不会参与任何数据传输环节。

内容的提问来源于stack exchange，提问作者skytree