使用PettingZoo自定义ParallelEnv对接Stable-Baselines3遇错求助

问题 #

我基于PettingZoo编写了自定义ParallelEnv，尝试使用SuperSuit的ss.pettingzoo_env_to_vec_env_v1作为包装器将环境向量化，以对接Stable-Baselines3。单独测试ParallelEnv时功能正常，但经过包装后出现以下问题：

• 调用check_env时报错：

  AssertionError: The observation returned by the reset() method does not match the given observation space

• 跳过check_env执行model.learn时，出现：

  ValueError: could not broadcast input array from shape (20,20) into shape (20,)

怀疑是包装器的reset函数处理存在问题，求解决方法。

解决方案 #

• 对齐观测空间定义：Stable-Baselines3（SB3）要求向量化环境的观测空间为单智能体格式，而PettingZoo ParallelEnv默认返回多智能体观测字典。需确保自定义ParallelEnv中每个智能体的观测空间与SB3期望的空间匹配，比如将(20,20)的二维观测根据需求展平为一维（如(400,)），并在环境的observation_space中正确声明该形状。
• 使用SuperSuit的前置包装器：先通过ss.pad_observations_v0包装自定义ParallelEnv，确保所有智能体的观测形状统一，再用ss.pettingzoo_env_to_vec_env_v1进行向量化转换，避免因观测形状不一致导致的广播错误。
• 手动适配reset返回格式：自定义包装逻辑，将ParallelEnv reset返回的多智能体观测字典，转换为SB3期望的单智能体批量数组格式。例如将每个智能体的(20,20)观测展平后，拼接成符合批量维度的数组。
• 校验动作/观测空间的正确性：检查自定义ParallelEnv的observation_space和action_space是否为单个智能体的空间，而非多智能体联合空间。比如每个智能体的观测空间应定义为Box(low=0, high=1, shape=(20,20), dtype=np.float32)（若保留二维）或对应展平后的形状。
• 调试reset输出结构：在包装前后分别打印reset()的返回值，对比形状与结构差异，确认向量化后输出的观测是否完全匹配SB3观测空间的要求。

内容的提问来源于stack exchange，提问作者Piero Macaluso