使用Stable Baselines3的PPO训练自定义环境时出现Box无spaces属性错误

核心错误原因 #

你使用的MultiInputPolicy策略是专门为**多输入观测空间（如gym.spaces.Dict或gym.spaces.Tuple类型）**设计的，但你的环境观测空间是单个Box对象。spaces属性只有多输入空间才具备，Box对象没有这个属性，因此代码尝试遍历observation_space.spaces时触发了报错。

修正步骤 #

1. 替换适配的策略 #

将MultiInputPolicy换成适合单个Box观测空间的MlpPolicy（多层感知器策略，是处理连续/单维度观测场景的常用选择）：

model = PPO("MlpPolicy", env)

2. 修复语法错误 #

代码中50 +- random.randint(-3, 3)是无效Python语法，根据你描述的“初始状态随机选择47或53”，修改为：

self.state = random.choice([47, 53])

3. 完善reset方法 #

Gym环境的reset方法必须返回初始观测值，否则训练时会出现输入不匹配问题，修改后的方法：

def reset(self):
    self.state = random.choice([47, 53])
    self.length = 120
    return np.array([self.state])

4. 统一状态输出格式 #

你的Box空间定义为数组形式（np.array([0])），因此返回的状态最好保持数组格式，避免潜在的格式冲突：

# step方法返回修正
return np.array([self.state]), reward, done, {}

修正后的完整代码 #

import numpy as np
from stable_baselines3 import PPO
import random
from gym import Env
from gym.spaces import Discrete, Box


class CustomEnv(Env):
    def __init__(self):
        self.action_space = Discrete(3)
        self.observation_space = Box(low=np.array([0]), high=np.array([100]))
        self.state = random.choice([47, 53])
        self.length = 120

    def step(self, action):
        self.state += action - 1
        self.length -= 1
    
        reward = 1 if 49 <= self.state <= 51 else -1
        
        done = self.length <= 0
        
        self.state += random.randint(-1, 1)
    
        return np.array([self.state]), reward, done, {}

    def reset(self):
        self.state = random.choice([47, 53])
        self.length = 120
        return np.array([self.state])
    
env = CustomEnv()
model = PPO("MlpPolicy", env)
model.learn(total_timesteps=20000)

内容的提问来源于stack exchange，提问作者Nikita