Stable Baselines 3中如何实现动态逐步限制动作空间？

针对迷宫环境中每步可用动作动态变化的场景，以下是几种可行的实现方式，其中**动作掩码（Action Masking）**是Stable Baselines官方推荐的最优方案：

1. 动作掩码（Action Masking） #

保持环境的action_space固定不变，通过生成动作掩码告知模型当前哪些动作可用，模型会自动过滤不可用动作进行决策。

实现步骤： #

• 改造自定义环境：在reset和step方法中生成动作掩码，并通过info返回或作为环境属性存储：

import numpy as np
import gym
from gym import spaces

class CustomMazeEnv(gym.Env):
    def __init__(self):
        self.action_space = spaces.Discrete(4)  # 对应_UP、_DOWN、_LEFT、_RIGHT四个动作
        self.maze_width = 10
        self.maze_height = 10
        # 定义观测空间（示例为位置信息）
        self.observation_space = spaces.Box(low=0, high=max(self.maze_width, self.maze_height)-1, shape=(2,), dtype=np.int32)

    def reset(self):
        # 重置玩家到初始位置
        self.current_pos = np.array([0, 0], dtype=np.int32)
        # 生成当前可用动作的掩码
        self.action_mask = self._get_available_actions()
        return self.current_pos

    def _get_available_actions(self):
        # 根据当前位置生成动作掩码：可用为True，不可用为False
        mask = np.ones(4, dtype=bool)
        x, y = self.current_pos
        # 边界限制逻辑：上边界无法向上
        if y == 0:
            mask[0] = False
        # 下边界无法向下
        if y == self.maze_height - 1:
            mask[1] = False
        # 左边界无法向左
        if x == 0:
            mask[2] = False
        # 右边界无法向右
        if x == self.maze_width - 1:
            mask[3] = False
        return mask

    def _move_player(self, action):
        # 根据动作移动玩家
        if action == 0:
            self.current_pos[1] -= 1
        elif action == 1:
            self.current_pos[1] += 1
        elif action == 2:
            self.current_pos[0] -= 1
        elif action == 3:
            self.current_pos[0] += 1

    def _calculate_reward(self):
        # 示例奖励：到达目标位置给正奖励，否则小负奖励
        if (self.current_pos == np.array([9,9])).all():
            return 100.0
        return -0.1

    def _check_done(self):
        return (self.current_pos == np.array([9,9])).all()

    def step(self, action):
        # 处理不可用动作：给负惩罚，不执行移动
        if not self.action_mask[action]:
            reward = -5.0
            done = False
            info = {"action_mask": self.action_mask}
            return self.current_pos, reward, done, info
        
        # 执行可用动作
        self._move_player(action)
        reward = self._calculate_reward()
        done = self._check_done()
        # 更新动作掩码
        self.action_mask = self._get_available_actions()
        info = {"action_mask": self.action_mask}
        return self.current_pos, reward, done, info

• 使用ActionMasker包装环境：通过Stable Baselines 3提供的ActionMasker wrapper，让模型训练时自动使用动作掩码：

from stable_baselines3 import PPO
from stable_baselines3.common.wrappers import ActionMasker

def get_action_mask(env):
    return env.action_mask

# 初始化并包装环境
env = CustomMazeEnv()
env = ActionMasker(env, get_action_mask)

# 训练模型
model = PPO("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=100000)

# 测试循环无需额外处理，模型会自动选择可用动作
obs = env.reset()
for i in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    print(f"action: {action}")
    obs, reward, done, info = env.step(action)
    env.render()
    if done:
        obs = env.reset()

2. 观测中加入可用动作信息+惩罚机制 #

如果不想使用动作掩码，可以将当前可用动作的编码加入观测向量，同时对模型选择的不可用动作施加负奖励，让模型通过学习避开无效动作：

• 修改观测空间，加入动作掩码作为观测的一部分：

self.observation_space = spaces.Dict({
    "pos": spaces.Box(low=0, high=max(self.maze_width, self.maze_height)-1, shape=(2,), dtype=np.int32),
    "action_mask": spaces.Box(low=0, high=1, shape=(4,), dtype=np.int32)
})

• 在step方法中，若模型选择不可用动作，给予较大负奖励（如reward = -10），并保持玩家位置不变。

这种方案效果略逊于动作掩码，因为模型需要额外学习无效动作的惩罚规则，而动作掩码直接从根源过滤了无效动作。

3. 不推荐：动态修改action_space #

直接修改self.action_space的方式不可行，因为Stable Baselines的模型是基于初始化时的动作空间构建神经网络输出层的，训练过程中修改动作空间会导致模型输出维度不匹配，引发错误。

内容的提问来源于stack exchange，提问作者Mike75