在Ray中使用Open Spiel环境时，如何实现正确动作掩码解决非法移动报错？

你碰到的这个错误，本质是智能体尝试在Connect Four已经填满的列落子，触发了OpenSpiel底层的合法性校验。用动作掩码可以从根源上避免这类非法动作的生成，以下是具体实现步骤：

1. 开启RLlib的动作掩码支持 #

在训练配置中明确启用动作掩码功能，以PPO为例：

from ray.rllib.algorithms.ppo import PPOConfig

config = (
    PPOConfig()
    .environment("open_spiel_connect_four")
    .rollouts(num_rollout_workers=2)
    .training(model={"use_action_mask": True})  # 核心配置：启用动作掩码
)

2. 从OpenSpiel环境提取合法动作掩码 #

OpenSpiel原生提供了获取当前状态合法动作的接口，你可以直接生成掩码：

def generate_legal_action_mask(env):
    current_state = env.get_state()
    legal_actions = current_state.legal_actions()
    # 初始化掩码，非法动作标记0，合法动作标记1
    action_mask = [0] * env.action_space.n
    for action in legal_actions:
        action_mask[action] = 1
    return action_mask

RLlib会自动将这个掩码整合到观测数据中，供模型使用。

3. 适配模型过滤非法动作（可选，若用自定义模型） #

如果使用自定义模型，需要在前向传播时用掩码过滤非法动作的logits，确保智能体只能选择合法动作：

from ray.rllib.models.torch.torch_modelv2 import TorchModelV2
import torch.nn as nn

class MaskedConnectFourModel(TorchModelV2, nn.Module):
    def __init__(self, obs_space, action_space, num_outputs, model_config, name):
        super().__init__(obs_space, action_space, num_outputs, model_config, name)
        nn.Module.__init__(self)
        self.backbone = nn.Sequential(
            nn.Linear(obs_space.shape[0], 128),
            nn.ReLU(),
            nn.Linear(128, num_outputs)
        )

    def forward(self, input_dict, state, seq_lens):
        # 生成基础logits
        base_logits = self.backbone(input_dict["obs"]["observation"])
        # 应用动作掩码：将非法动作的logits设为极小值，使其不会被选中
        action_mask = input_dict["obs"]["action_mask"]
        masked_logits = base_logits + (1 - action_mask) * -1e10
        return masked_logits, state

然后在配置中指定使用这个自定义模型：

config.training(model={"custom_model": MaskedConnectFourModel, "use_action_mask": True})

4. 额外注意：版本兼容性 #

如果按上述步骤配置后仍有问题，建议检查Ray和OpenSpiel的版本是否匹配，优先使用两者的最新稳定版，避免因版本差异导致的接口不兼容问题。

内容的提问来源于stack exchange，提问作者MonisVerse