从同一类初始化两个PyTorch神经网络，首个初始化为何影响第二个？

核心原因 #

问题根源不是BatchNorm的运行统计，而是PyTorch全局随机种子的状态被提前消耗。当你先初始化教师网络时，全局随机数生成器的序列已经被用掉了一部分，后续初始化学生网络时，随机状态已经改变，导致权重初始化结果不同，最终训练损失出现差异。reset_running_stats()仅重置BatchNorm的均值、方差统计，不影响权重初始化的随机性。

具体解决方案 #

• 每次初始化网络前固定随机种子：
  在创建每个网络实例前，手动重置PyTorch（及NumPy，若用到）的随机种子，确保两次初始化的随机序列完全独立。示例代码：

  import torch
  import numpy as np
  
  def set_seed(seed=42):
      torch.manual_seed(seed)
      torch.cuda.manual_seed_all(seed)
      np.random.seed(seed)
      torch.backends.cudnn.deterministic = True
      torch.backends.cudnn.benchmark = False
  
  # 初始化教师网络
  set_seed(42)
  teacher_net = YourNetwork(hidden_size=512)
  
  # 初始化学生网络
  set_seed(42)
  student_net = YourNetwork(hidden_size=256)
  

  这样两次初始化的随机数生成器起点一致，各自的权重初始化不会受对方影响。

• 确保网络初始化逻辑实例化时执行：
  检查你的网络类，确保权重初始化代码（比如nn.init.uniform_初始化BatchNorm权重）是在每个实例的__init__方法内调用，而非类级别的静态操作。示例：

  class YourNetwork(torch.nn.Module):
      def __init__(self, hidden_size):
          super().__init__()
          self.fc = torch.nn.Linear(10, hidden_size)
          self.bn = torch.nn.BatchNorm1d(hidden_size)
          # 每个实例单独初始化BatchNorm权重
          nn.init.uniform_(self.bn.weight)
  

• 训练时隔离两个网络的计算图：
  训练学生网络时，将教师网络设为eval()模式，且不要把教师的参数加入学生的优化器，避免教师网络的状态意外干扰学生的训练流程。

验证方法 #

初始化两个网络后，打印对应层的权重（比如print(teacher_net.fc.weight[:5])和student_net.fc.weight[:5]），若固定种子后，相同位置的权重初始值一致（层大小不同时，随机序列起始点仍一致），说明问题已解决。

内容的提问来源于stack exchange，提问作者Alex