Stable Baselines3 TD3算法reset()方法值解包过多错误求助

问题根源 #

Stable Baselines3 2.x版本依赖Gymnasium环境规范，要求自定义环境的reset()方法必须返回**(观测值, 信息字典)**两个值。你的reset()仅返回了观测状态，导致DummyVecEnv在尝试解包两个返回值时抛出ValueError: too many values to unpack (expected 2)。

修复步骤 #

修改自定义环境的reset()方法，补充返回一个信息字典（空字典即可，若有需要可添加环境相关信息）：

def reset(self, seed=0, options=None):
    self.current_index = 0
    self.current_cash = self.start_cash
    self.done = False
    self.current_time = self.start_time

    # 可选：调用父类方法设置随机种子，保证环境可复现
    super().reset(seed=seed)

    # 计算初始观测状态
    initial_state = self.get_state()  # dict
    # 返回观测值 + 空信息字典
    return initial_state, {}

额外说明 #

• 若你的环境继承自gymnasium.Env，严格遵循该返回格式是强制要求；
• 添加seed和options参数是为了对齐Gymnasium的标准接口，避免后续其他潜在兼容性问题。

内容的提问来源于stack exchange，提问作者GatesPlan