使用Stable-Baselines3训练MiniGrid环境PPO模型遇错误求助

核心原因 #

你遇到的问题本质是Stable-Baselines3（SB3）版本与Gymnasium环境的兼容性问题。早期SB3版本仅适配旧版Gym（gym.spaces），而MiniGrid现在基于Gymnasium（gymnasium.spaces）实现环境接口，导致SB3无法识别Gymnasium的动作空间类型，进而触发错误。

解决方案 #

1. 升级到兼容Gymnasium的SB3版本 #

SB3从v1.7.0开始正式支持Gymnasium，先确保你的版本符合要求：

pip install --upgrade stable-baselines3[extra]

2. 修正环境初始化代码 #

补全ImgObsWrapper的导入路径，确保环境包装链正确：

import gymnasium as gym
from minigrid.wrappers import RGBImgObsWrapper, ImgObsWrapper  # 补全ImgObsWrapper导入

# 初始化环境
env = gym.make("MiniGrid-SimpleCrossingS9N1-v0", render_mode="human")
env = RGBImgObsWrapper(env)  # 转换为RGB图像观测
env = ImgObsWrapper(env)     # 移除字典观测，保留纯图像张量

3. 验证环境兼容性 #

初始化模型前，可先确认环境的观测/动作空间是否符合SB3要求：

print("观测空间:", env.observation_space)
print("动作空间:", env.action_space)

只要SB3版本正确，gymnasium.spaces.discrete.Discrete会被正常识别，无需手动转换动作空间类型。

4. 调整训练代码（可选） #

如果仍有问题，可尝试使用SB3提供的Gymnasium兼容包装器：

from stable_baselines3.common.env_util import make_vec_env
from minigrid.wrappers import RGBImgObsWrapper, ImgObsWrapper

# 用vecenv包装单环境，增强兼容性
env = make_vec_env(lambda: gym.make("MiniGrid-SimpleCrossingS9N1-v0"), n_envs=1)
env = RGBImgObsWrapper(env)
env = ImgObsWrapper(env)

model = PPO('CnnPolicy', env, verbose=1)
model.learn(total_timesteps=args.timesteps, callback=callback)

关键说明 #

你发现的动作空间类型差异（gym.spaces vs gymnasium.spaces）是问题的表象，而非根源——只要SB3版本支持Gymnasium，两种空间类型会被统一处理，无需额外修改。

内容的提问来源于stack exchange，提问作者user19826638