多GPU/多节点下PyTorch Lightning DataLoader批量大小确认

• 核心逻辑：给DataLoader设置的batch_size是单GPU/单进程要处理的批次大小，而非全局的「有效批量大小」。有效批量大小的计算公式为：有效批量大小 = 单GPU批次大小 × GPU数量 × 节点数量，这个值用于衡量全局训练的总批次规模，或配合梯度累积调整训练节奏。

• 单节点多GPU示例（1节点2GPU，单GPU需批次512）：
  应设置trainloader = DataLoader(... , batch_size = 512)。此时Lightning会自动让每个GPU各自加载512样本的批次，全局一次训练的有效批量为512×2×1=1024。
  若错误设置batch_size=1024，每个GPU都会加载1024样本的批次，有效批量变为1024×2×1=2048，会导致显存占用超出预期甚至溢出。

• 多节点多GPU场景（2节点，每节点2GPU）：
  遵循完全相同的逻辑。DataLoader的batch_size仍设为单GPU所需的数值（如512），Lightning会在每个节点的每个GPU上独立加载对应批次的样本，此时有效批量为512×2×2=2048。

• 补充说明：Lightning的分布式训练（默认DDP模式）下，每个GPU对应一个独立进程，每个进程会单独初始化DataLoader并加载自己的批次数据，无需手动拆分总批量，框架会自动完成分布式数据的分配与处理。

内容的提问来源于stack exchange，提问作者imantha