强化学习训练游戏智能体时频繁输出非法动作的优化方案咨询

核心问题根因 #

1. 观测空间定义存在语法错误，shape=(,144)不符合Gym规范，导致模型无法正确读取当前连线的占用状态，无法建立状态和合法动作的关联
2. 非法动作惩罚量级极端不合理，-100000000的惩罚远高于其他奖励/惩罚的量级，会导致梯度更新出现极端偏移，策略一旦触发一次该惩罚就会陷入输出固定动作的局部最优
3. 原生A2C没有动作过滤机制，默认所有动作都是合法可选，模型无法直观感知哪些动作当前不可选
4. 双智能体博弈场景下未做自博弈适配，固定对手策略容易导致模型过拟合，探索效率极低

具体优化步骤 #

• 修正环境基础配置
  首先将观测空间的shape修正为(144,)的标准格式，确保状态输入维度正确。同时调整奖励函数尺度：将非法动作惩罚调整为-100，和正常连线奖励+100处于同一量级，避免梯度爆炸。也可在环境侧增加非法动作重试逻辑：当智能体选择非法动作时不结束回合，直接返回当前状态让智能体重新选择，减少无效样本。
• 新增动作掩码机制
  自定义A2C策略的输出层，在每一步推理时将当前已被占用的连线对应的动作概率置为0，强制模型只能从合法动作范围内采样，从根源上避免非法动作输出。如果不想自定义策略，可以改用支持离散动作掩码的RL框架实现。
• 调整训练超参数
  降低A2C的学习率到1e-5 ~ 5e-5区间，同时将熵系数ent_coef调整到0.05左右，提升模型前期的探索意愿，避免过早收敛到固定动作的局部最优。调整后的训练代码参考如下：

  env = DotsAndBoxesEnv()
  state = env.reset()
  model = A2C(
      'MlpPolicy', 
      env, 
      verbose=1, 
      tensorboard_log=logPath,
      learning_rate=3e-5,
      ent_coef=0.05,
      gamma=0.99
  )
  model.learn(total_timesteps=1000000)
  

• 增加自博弈训练逻辑
  该场景为双智能体博弈问题，固定对手策略会大幅限制模型的探索上限。建议实现自博弈机制：每训练10~20万步就将当前最优模型替换为环境中的对手，让模型和不同强度的自己对战，提升策略的泛化性和博弈水平。

内容的提问来源于stack exchange，提问作者Benjamin Darras