PyTorch实现Cartpole-v0 PPO采用TD-0优势陷入局部最优问题咨询

你碰到的不收敛问题主要是实现遗漏导致的，TD-0优势的特性只是放大了不稳定的问题，具体分析如下： #

一、核心实现问题 #

• 优势没有做归一化
  你直接用原始的TD误差作为优势更新Actor，优势的数值量级会随着Critic的训练进度、单episode的奖励分布大幅波动，直接导致梯度更新步长不稳定，要么更新步太大把策略更新崩，要么更新步太小卡在局部最优。
  修复方式：在Actor更新前对优势做归一化：

adv_batch = (adv_batch - adv_batch.mean()) / (adv_batch.std() + 1e-8)

• 单episode采样后多轮更新容易过拟合
  你每次只采集1个episode的数据，就给Actor更新10轮，小样本下反复迭代很容易让策略过拟合到当前episode的采样分布，一旦当前采样有偏差，策略会直接走偏，后续很难修正。
  修复方式：积累3-5个episode的样本组成batch再更新，或者把Actor的更新轮次降到2-3轮。
• 缺少熵正则项，探索性不足
  你的Actor损失只有剪切的代理损失，没有加熵正则，策略很容易过早收敛到确定性的次优策略，直接陷入局部最优。
  修复方式：修改Actor的损失计算，加入熵项鼓励探索：

# 计算策略熵
entropy = -torch.mean(torch.sum(pred_batch * torch.log(pred_batch + 1e-8), dim=1))
loss = torch.mean(loss_r) - 0.01 * entropy

• 数值稳定性问题
  计算概率比的时候，直接对概率取log可能出现数值溢出（概率接近0时log为负无穷），建议加极小值保护：

ratio = torch.exp(torch.log(prob_batch + 1e-8) - torch.log(old_prob_batch + 1e-8))

二、TD-0优势的特性影响 #

TD-0优势本身偏差小但方差大，单步的奖励波动、Critic的估计误差都会直接传导到优势上，对于CartPole这种短episode环境是可以用的，但稳定性确实比GAE（广义优势估计）、多步TD差很多，训练过程出现波动、偶尔陷入局部最优属于预期内的表现，但不会完全无法收敛。

三、其他可优化点 #

你设置的episode_length=300超过了CartPole-v0默认的最大episode长度200，env会在200步时自动返回done，这个参数可以改回200减少不必要的计算。

内容的提问来源于stack exchange，提问作者204