如何注册并实例化OpenAI Gym自定义环境？含核心概念解析

1. registering（环境注册） #

• 本质是给自定义环境分配一个唯一标识ID，将环境类的路径、元数据（如版本、渲染模式）等信息录入Gymnasium的环境注册表。
• 作用是让Gymnasium通过该ID定位并加载你的环境类，相当于给环境在Gym生态中“备案”，为后续make调用提供入口。

2. make（环境实例化） #

• 是Gymnasium提供的快捷实例化方法，通过已注册的环境ID，自动完成环境类的导入、实例化，同时处理默认参数、包装器适配等逻辑。
• 替代手动导入类并实例化的繁琐流程，用一行代码即可生成环境实例，且兼容Gymnasium的各类强化学习工具链。

当前文件夹结构：

environment 
    > rl.py（自定义环境实现文件）
    > train.py

步骤1：在rl.py中完成环境类实现并添加注册逻辑 #

假设你的自定义环境类名为CustomRLEnv，在rl.py末尾添加注册代码：

import gymnasium as gym
from gymnasium.envs.registration import register

# 注册自定义环境
register(
    id="CustomRLEnv-v0",  # 唯一标识ID，建议遵循「环境名-版本号」格式
    entry_point="rl:CustomRLEnv",  # 格式：「文件名:环境类名」，因两文件同目录可直接写文件名
    # 可选：添加元数据（如支持的渲染模式）
    # metadata={"render_modes": ["human", "rgb_array"], "render_fps": 30}
)

步骤2：在train.py中创建环境实例 #

在train.py中先导入rl模块（触发注册逻辑），再用make生成实例：

import gymnasium as gym
import rl  # 关键：导入rl.py，执行其中的环境注册代码

# 创建自定义环境实例
env = gym.make("CustomRLEnv-v0")

# 测试环境运行流程
observation, info = env.reset()
for _ in range(100):
    action = env.action_space.sample()  # 随机采样动作
    observation, reward, terminated, truncated, info = env.step(action)
    
    if terminated or truncated:
        observation, info = env.reset()

env.close()

常见问题排查 #

• 提示找不到环境类：检查entry_point格式是否正确，确保文件名（不含.py）和类名完全匹配，且两文件处于同一目录。
• 注册重复报错：确保环境ID唯一，或在注册前检查注册表中是否已存在该ID（可通过gym.envs.registry.keys()查看）。
• 路径适配问题：若后续调整文件夹结构，entry_point需改为相对/绝对路径，例如rl.py在my_envs/rl.py时，需写my_envs.rl:CustomRLEnv。

内容的提问来源于stack exchange，提问作者fragger