如何修改GitHub上OpenAI PPO基线代码的输出/回放及显示内容？

一、解决每次运行输出始终一致的问题 #

你说得对，核心修改点确实在learn方法里，本质原因是代码中固定了随机种子，导致每次训练的初始随机状态完全相同。具体修改步骤如下：

1. 定位learn函数：打开baselines/ppo2/ppo2.py，找到定义def learn(...)的部分。
2. 修改种子设置：
   查找函数中关于种子的硬编码或固定值，比如类似这样的代码：

   seed = 12345  # 固定种子值
   tf.random.set_seed(seed)
   env.seed(seed)
   

   把固定的种子值改为动态生成，比如用随机数：

   import random
   seed = random.randint(0, 10**6)  # 每次生成不同的随机种子
   tf.random.set_seed(seed)
   env.seed(seed)
   

   或者允许通过命令行参数传入自定义种子（如果代码支持的话），确保每次运行时传入不同的--seed值。
3. 检查全局种子：如果项目根目录有全局种子设置（比如main.py里的参数），也要同步修改，避免被外层代码覆盖。

二、修改PPO基线的输出/回放内容 #

1. 自定义训练日志输出 #

PPO2默认用logger模块记录训练指标，你可以修改或扩展这些输出：

• 修改现有日志内容：在learn函数的训练循环中，找到logger.record()或print()语句，直接修改里面的内容。比如把默认的eprewmean标注改成更直观的Average Episode Reward：

  logger.record("stats/average_reward", ep_mean)  # 替换原来的"eprewmean"
  

• 添加新的训练指标：如果你想监控KL散度、策略熵这类额外指标，先在循环中计算这些值，再用logger.record()记录：

  # 假设已经计算出当前步的KL散度和熵
  kl_divergence = ...
  policy_entropy = ...
  logger.record("train/kl_divergence", kl_divergence)
  logger.record("train/policy_entropy", policy_entropy)
  

  这样在logger.dump()时，这些新指标就会输出到日志文件或控制台。

2. 自定义回放（视频记录）内容 #

PPO2通常用VecVideoRecorder包装环境来生成回放视频，修改点如下：

• 调整回放参数：找到创建环境的代码（通常在learn函数或make_env方法里），修改VecVideoRecorder的参数，比如保存路径、记录频率、视频长度：

  from baselines.common.vec_env import VecVideoRecorder
  
  # 替换默认的视频记录配置
  env = VecVideoRecorder(
      env,
      video_dir="./custom_videos",  # 自定义保存路径
      record_video_trigger=lambda step: step % 500 == 0,  # 每500步记录一次
      video_length=300,  # 每个视频记录300步
      name_prefix="ppo2_training_run"  # 视频文件名前缀
  )
  

• 修改回放画面内容：如果想在视频中添加文字标注（比如当前步数、奖励），可以在环境渲染时用OpenCV处理帧：

  import cv2
  import numpy as np
  
  # 在环境的render方法或自定义的渲染函数中添加
  frame = env.render(mode='rgb_array')
  # 添加文字标注
  cv2.putText(frame, f"Step: {current_step} | Reward: {current_reward}", 
              (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2)
  # 保存或渲染修改后的帧
  

内容的提问来源于stack exchange，提问作者Maroua Benzarti