Stable Baselines3连续动作空间探索异常及混合动作空间适配问询

• 动作分布与非归一化空间不匹配：Stable Baselines3（SB3）的连续控制策略默认使用对角高斯分布输出动作，初始策略的动作均值接近0，对数标准差默认初始值为0（对应标准差≈1）。当你使用未归一化的[0,31]、[0,25]动作空间时，初始采样的动作几乎全部集中在0附近的小范围。又因为你的环境是单步决策（输出动作后直接终止），没有时序奖励引导策略往更大的动作值探索，策略始终收不到高奖励反馈，就会一直卡在小范围探索。
• tanh激活边界饱和+L1奖励特性：归一化到[0,1]的动作空间下，SB3的策略网络会先输出tanh激活的[-1,1]值，再线性映射到你设置的Box区间上下界。tanh函数在输入绝对值大于2时就会进入梯度饱和区，输出几乎固定在±1，对应映射后的动作就是0或1（缩放后就是x=0/31、y=0/25的角点）。同时你的奖励是曼哈顿距离的负值，属于L1型奖励，对动作的梯度在未到目标点时是恒定值，会持续推动策略输出往目标方向移动，一旦移动到tanh饱和区，梯度消失，策略就会停在边界无法继续调整到中间的最优值。
• 单步决策的探索不足：你的环境是单步终止的，没有时序探索的缓冲，策略很难积累足够的中间动作的奖励样本，来修正边界饱和带来的偏差，最终就会收敛到离目标最近的边界点。

业内针对同时需要连续和离散分量的动作空间场景，常用的实现方案包括以下几种，均可解决SB3不支持Tuple类型动作空间的问题：

• 动作空间重映射：如果离散分量数量很少（比如你这里仅1个二进制离散分量），可以将离散分量合并到连续动作空间。你提到的将二进制离散分量转为[0,1]的浮点值，用0.5作为阈值切分0/1是完全可行的方案。要降低对学习效果的影响，可以单独给这个离散分量的损失加适配权重，或者在训练时对这个维度的采样噪声做单独调整，实测在离散分量少于3个的场景下效果损失可以忽略。
• 自定义策略头：无需改动SB3核心逻辑，仅需修改策略网络的输出头，同时输出两个分支：一个分支输出离散分量的分类概率，另一个分支输出连续坐标的高斯分布参数，训练时分别计算离散分量的交叉熵损失和连续分量的高斯对数似然损失，加权求和后做反向传播即可，整体改动量很小。
• 离散分量优先拆分：可以将决策流程拆分为两步，先训练一个离散策略判断是否终止，再训练一个连续策略输出坐标值，这种方案不需要改动SB3原生代码，仅需调整环境交互逻辑即可，适合不想改动算法源码的场景。

内容的提问来源于stack exchange，提问作者Jean