torch.cuda.amp.GradScaler与torch.cuda.amp.grad_scaler.GradScaler的区别？

• 二者本质是同一个类，不存在实现或默认参数上的区别。torch.cuda.amp.GradScaler是PyTorch对外提供的公共导入接口，而torch.cuda.amp.grad_scaler.GradScaler是该类在内部模块中的实际定义位置，官方文档仅展示公共接口，因此你找不到后者的相关文档。

• 你观察到的收敛速率差异与这两个导入路径无关，大概率由其他因素导致：

  • 训练代码中初始化GradScaler时传入的参数（如init_scale、growth_factor等）是否不一致
  • 混合精度训练流程是否存在区别，比如autocast上下文管理器的使用范围、梯度缩放与更新的步骤是否有差异
  • 训练时未固定随机种子，导致两次训练的随机性差异引发收敛速率波动

内容的提问来源于stack exchange，提问作者Soulslayer