PyTorch中PPO预训练模型评估结果与训练不符的问题

以下是导致训练与评估表现差异的关键排查方向，按优先级梳理：

• 动作选择模式不一致
  PPO训练阶段为保证环境探索，会从动作分布中随机采样动作；但评估时需切换为确定性动作选择（比如取动作分布的均值或最优离散动作）。如果评估时仍沿用训练时的采样逻辑，动作随机性会大幅降低智能体表现稳定性。
  解决：修改评估环节的动作生成逻辑，例如连续动作空间将dist.sample()替换为dist.mean，离散空间替换为dist.mode。

• 环境与模型随机性未固定
  评估时未锁定随机种子，会导致每次评估的环境初始状态、动态生成逻辑存在差异，部分场景下智能体遇到极端不利的初始条件，直接快速失败。
  解决：在评估脚本开头固定所有随机源的种子：

  import torch
  import random
  import numpy as np
  
  seed = 42
  random.seed(seed)
  np.random.seed(seed)
  torch.manual_seed(seed)
  env.seed(seed)  # 对应你所使用环境类的种子设置方法
  

• 归一化层参数未正确加载或使用
  若你的policy_module包含LayerNorm、BatchNorm等归一化层，训练时这些层会更新running_mean和running_var参数，这些参数会被存入state_dict，但需确保加载时完整恢复，且评估时保持eval()模式（你已做此操作，但需确认保存与加载的模型结构完全一致，无增删层情况）。
  解决：核对保存和加载的policy_module结构完全匹配，加载后确认model.eval()被正确调用，避免评估时更新归一化层的统计量。

• 保存的权重并非最优模型
  你保存的是500k步的权重，但训练到了100万步，500k步时模型可能尚未完全收敛，或训练过程存在性能波动，该 checkpoint 本身性能不稳定。
  解决：训练过程中定期评估模型性能，保存验证表现最优的权重，而非固定步数的权重。

• rollout函数存在隐性差异
  确认评估时的rollout函数与训练时完全一致，比如训练时启用的探索噪声、奖励缩放等机制，在评估时是否未关闭。例如部分实现中训练时会给动作添加噪声，评估时需禁用该逻辑。
  解决：对比训练与评估的rollout代码，确保评估时仅保留纯模型推理逻辑，移除所有探索相关的额外操作。

内容的提问来源于stack exchange，提问作者juri