自定义OpenAI Gym如何用Ray RLLib SAC实现单步连续离散双动作输出

自定义Gym环境的动作空间定义 #

• 不要把离散和连续动作硬拼成一维数组凑连续空间，直接用gym.spaces.Dict把两个独立动作分支封装成结构化动作空间，这是RLLib原生支持混合动作的核心前提
• 两个分支的类型要严格匹配实际决策需求：
  • 离散动作分支直接用gym.spaces.Discrete(可选动作总数)定义
  • 连续动作分支用gym.spaces.Box定义对应维度、上下限的连续空间
• 环境的step接口收到的动作就是Dict结构的字典，直接通过键名取对应的值执行逻辑就行，不需要做维度拼接、数值转换这类额外处理

动作空间定义参考代码

import numpy as np
import gym
from gym.spaces import Discrete, Box, Dict

# 示例：观测为4维连续向量
observation_space = Box(low=-np.inf, high=np.inf, shape=(4,), dtype=np.float32)
# 示例：1个2选1的离散动作 + 1个范围[-2,2]的1维连续动作
action_space = Dict({
    "discrete_action": Discrete(2),
    "continuous_action": Box(low=-2.0, high=2.0, shape=(1,), dtype=np.float32)
})

SAC算法的关键配置 #

• 确保使用Ray>=2.0版本，早期版本SAC对Dict混合动作空间的支持存在维度匹配bug，容易出现分布计算报错
• 不需要手动自定义网络结构，RLLib内置的SAC会自动识别Dict动作空间的每个分支，分别为离散分支搭建分类策略头、为连续分支搭建高斯策略头，两个头并行输出最终的组合动作
• 三个必须调整的配置项，不然很容易训崩：
  • 开启动作空间不扁平化开关：设置_disable_action_flattening=True，避免框架把Dict动作强行压成一维数组，导致离散动作的概率计算逻辑出错
  • 开启自动熵系数调节：把entropy_coeff设为"auto"，框架会自动给离散、连续两个分支单独匹配最优的目标熵值，不需要手动计算离散动作的熵系数
  • 不需要手动修改全连接网络的层数和维度，默认的fcnet_hiddens结构会自动适配两个并行的动作头，改了反而容易出现维度不匹配

SAC训练配置参考片段

from ray.rllib.algorithms.sac import SACConfig

config = (
    SACConfig()
    .environment(env="你的自定义环境注册名称")
    .framework("torch")
    .rollouts(num_rollout_workers=2)
    .training(
        gamma=0.99,
        _disable_action_flattening=True,
    )
    .optimization(entropy_coeff="auto")
)
algo = config.build()
# 直接启动正常训练循环即可

常见踩坑提醒 #

• 别图省事把两个动作拼成一维Box空间再强行拆分，那样SAC会把整个空间当成连续高斯分布计算，离散动作的概率输出完全不符合逻辑，训练根本不可能收敛
• 环境端不要对框架输出的Dict动作做额外格式转换，比如把离散动作索引转成one-hot向量、把连续动作从数组里抠出来再调整维度，框架输出的动作已经完全匹配你定义的空间结构，直接用即可
• 如果训练初期智能体探索不足、回报快速收敛到局部最优，检查是不是没开自动熵调节，导致离散分支过早退化成确定性策略，失去决策探索能力

内容的提问来源于stack exchange，提问作者JoCode