咨询：是否有支持OpenAI Gymnasium的强化学习算法库？

目前已有不少成熟的RL算法库支持Gymnasium，完全没必要直接手动实现所有算法，你遇到的运行问题大概率是版本适配或配置问题，而非库本身不支持。

已适配Gymnasium的主流RL库 #

• CleanRL：官方已经完成Gymnasium适配，先通过pip install --upgrade cleanrl升级到最新版本，然后使用官方提供的兼容示例代码，注意导入环境时要写import gymnasium as gym，而非旧版的import gym。
• Stable Baselines 3：这是目前最常用的RL库之一，很早就完成了Gymnasium支持，支持DQN、PPO、A2C等主流算法，直接安装最新版就能用，示例代码如下：

  import gymnasium as gym
  from stable_baselines3 import PPO
  
  env = gym.make("CartPole-v1")
  model = PPO("MlpPolicy", env, verbose=1)
  model.learn(total_timesteps=10000)
  

• Ray RLlib：最新版本已兼容Gymnasium，先执行pip install --upgrade ray[rllib]更新到最新版，使用时直接指定环境名称即可，RLlib会自动识别Gymnasium环境。

运行失败的常见原因及解决办法 #

• 版本过旧：很多库是后期才适配Gymnasium的，旧版本自然无法运行，优先升级到最新稳定版。
• 导入方式错误：仍使用旧的import gym导入环境，应该改成import gymnasium as gym。
• 环境参数问题：Gymnasium部分环境需要指定render_mode参数（比如gym.make("CartPole-v1", render_mode="human")），或者环境名称和旧Gym有细微差异（比如部分环境后缀从-v0改为-v1）。

如果以上方法都没解决，再考虑针对特定算法做少量适配修改——比如调整step()返回值的处理（Gymnasium的step()返回(observation, reward, terminated, truncated, info)，比旧Gym多了truncated参数），但完全手动实现算法完全没必要。

内容的提问来源于stack exchange，提问作者tommy