SageMaker默认分布式训练策略澄清：多实例无配置时的训练机制

核心结论 #

当你在SageMaker深度学习estimator（如PyTorch）中设置instance_count=2但未指定distribution参数时，会自动启动分布式训练。

默认分布式策略细节 #

• 针对PyTorch estimator：默认采用数据并行方案，底层基于torch.distributed框架，使用TCP作为通信初始化方式，GPU实例下默认用NCCL作为通信后端。SageMaker会自动完成实例间的通信配置，每个实例会加载完整的模型副本，各自处理数据集的一个分片，训练过程中通过NCCL同步梯度，完成模型参数的统一更新。
• 针对TensorFlow estimator：默认同样是数据并行，多实例场景下会采用MultiWorkerMirroredStrategy，每个实例上的GPU参与本地计算，跨实例通过分布式通信同步梯度。

你观察到两台实例的GPU均处于活跃状态，正是数据并行的典型表现——每个实例的GPU都在处理分配到的数据分片，同时参与跨实例的梯度同步操作。

内容的提问来源于stack exchange，提问作者Arvs