在OpenAI Gym创建股票交易环境时遭遇KeyError: 'render_modes'错误

问题原因 #

1. 自定义环境未遵循Gym API规范：你创建的StockTradingEnv类没有实现Gym环境的核心要求，缺少render_modes相关配置（比如metadata属性定义），或未在__init__中处理render_mode参数，导致调用时触发KeyError。
2. 版本适配不彻底：虽然降级到Gym 0.24.1，但该版本属于Gym向Gymnasium过渡的版本，对环境API有明确要求，你的环境代码未匹配该版本规范，因此降级后问题仍存在。
3. 渲染参数传递不匹配：创建环境时传递了render_mode参数，但环境类既不支持该模式，也未对参数做兼容处理。

解决思路 #

1. 修正自定义环境的API实现 #

Gym 0.24.1要求环境类必须满足以下要求：

• 继承gym.Env基类
• 定义metadata属性，包含render_modes（支持的渲染模式列表）和render_fps（帧率）
• 在__init__中接收并初始化render_mode参数，同时校验参数合法性
• 实现render方法，对应不同render_mode的逻辑

示例代码修改：

import gym
from gym import spaces
import numpy as np

class StockTradingEnv(gym.Env):
    # 定义支持的渲染模式
    metadata = {"render_modes": ["human", "rgb_array"], "render_fps": 30}

    def __init__(self, render_mode=None):
        super().__init__()
        self.render_mode = render_mode

        # 校验render_mode是否合法
        if self.render_mode is not None and self.render_mode not in self.metadata["render_modes"]:
            raise ValueError(f"无效的render_mode，可选值：{self.metadata['render_modes']}")

        # 初始化动作空间、状态空间（根据你的需求调整）
        self.action_space = spaces.Discrete(3)  # 买、卖、持有
        self.observation_space = spaces.Box(low=0, high=np.inf, shape=(10,), dtype=np.float32)

    def render(self):
        # 根据render_mode实现渲染逻辑
        if self.render_mode == "human":
            # 这里写弹窗显示交易数据/界面的逻辑
            print("显示交易界面")
        elif self.render_mode == "rgb_array":
            # 返回RGB图像数组（如果需要可视化）
            return np.zeros((480, 640, 3), dtype=np.uint8)
        # 其他模式调用父类默认实现
        else:
            super().render()

    # 实现step、reset等核心方法
    def step(self, action):
        # 交易步骤逻辑，返回observation, reward, terminated, truncated, info
        return np.zeros(10), 0.0, False, False, {}

    def reset(self, seed=None, options=None):
        super().reset(seed=seed)
        # 重置环境逻辑，返回observation, info
        return np.zeros(10), {}

2. 调整环境调用逻辑 #

• 如果不需要渲染功能，创建环境时不要传递render_mode参数，或在__init__中设置默认值为None，同时将metadata["render_modes"]设为空列表[]。
• 如果必须使用渲染，确保传递的render_mode在metadata["render_modes"]列表中（注意Gym中是小写的"human"、"rgb_array"，不是大写）。

3. 排查第三方依赖（若使用开源环境） #

如果是基于开源股票交易环境修改，检查该环境文档，确认它支持的Gym版本，以及是否需要额外配置渲染相关依赖（如pygame、matplotlib等）。

内容的提问来源于stack exchange，提问作者Olwar