Gym自定义环境开发疑问：动作空间、Box边界设置及文档咨询

问题解答 #

• 关于动作参数识别：你在自定义环境的__init__方法中定义的self.action_space已经包含了所有智能体需要的动作元信息。如果是Box类型的动作空间，其shape参数直接告诉智能体可控动作的维度数量，上下界告诉智能体每个维度的取值范围；如果是Discrete类型，其参数直接告诉智能体可选的离散动作总数。智能体训练不需要知道每个动作维度的具体语义，语义对应关系是你在实现step方法时自行约定的，比如你规定动作数组第一个值对应转向、第二个对应油门，只需要在step里按这个规则处理动作输入即可，智能体在训练过程中会自动学习各维度的作用。
• 关于Box边界的作用：你理解的没错，spaces.Box的上下边界就是明确告知智能体的合法动作取值范围。如果你设置边界为[-1, 1]，智能体的策略输出会被约束在这个区间内，所有该区间内的数值都属于合法动作，你在实现step逻辑时可以默认收到的动作都符合这个范围要求，不需要额外做合法性校验，Gym内置的action_space.sample()等工具方法也会自动在该范围内采样合法动作。
• 关于无界空间的设置：直接使用np.inf即可实现。如果需要全局无界空间，只要将low设为-np.inf、high设为np.inf即可；如果需要单侧无界，对应修改low或者high的取值就行，Gym原生支持np.inf作为空间边界的合法取值。

学习资料推荐 #

• Gym 官方核心API文档，重点看自定义环境开发指南和Space类的API说明
• 主流强化学习公开教程中的Gym环境开发章节，包含完整的自定义环境实现案例
• Gym内置经典环境的源码，可对照理解__init__、step、reset等核心方法的实现逻辑

内容的提问来源于stack exchange，提问作者uBoscuBo