PyTorch中PPO算法打印动态调整学习率触发参数无效错误的问题求助

我之前碰到过类似的诡异问题，直接访问优化器的state_dict有时候会触发意想不到的参数同步或计算图干扰，尤其是在像你这样给actor和critic分设学习率的多参数组场景下。

问题根源 #

你现在通过optimizer.state_dict()['param_groups'][0]['lr']读取学习率，虽然理论上这是只读操作，但PyTorch内部生成state_dict时可能会强制同步参数状态，间接干扰到actor网络输出的Beta分布参数（导致concentration值非正，触发无效参数报错）。删除打印语句后，这个干扰消失，程序就能正常运行。

解决方案 #

别再通过优化器的state_dict获取学习率了，改用PyTorch学习率调度器提供的官方API——get_last_lr()，它是专门设计来安全获取当前各参数组学习率的方法，不会干扰模型参数状态：

把你的打印代码替换成：

# 获取当前actor和critic的学习率
current_lrs = ppo_agent.scheduler.get_last_lr()
print(f"Actor LR: {current_lrs[0]}, Critic LR: {current_lrs[1]}")

另外还有个关键细节：你得确保每次参数更新后调用调度器的step()方法，否则指数衰减策略根本不会生效。记得在你的ppo_agent.update()函数里加上：

def update(self):
    # ... 你的PPO更新逻辑（计算梯度、反向传播、优化器step） ...
    self.scheduler.step()  # 触发学习率衰减

验证 #

替换代码后重新运行，应该不会再出现Beta分布的无效参数错误，同时能正常打印出每次更新后的衰减学习率。

内容的提问来源于stack exchange，提问作者ke qi