训练Deep Q Network时，如何高效实现m,n,k游戏的落子规则？

方案1：仅从空白格子选择合法动作 #

• 训练效率优势：直接将动作空间限制在有效范围内，智能体的所有探索和学习都聚焦于有意义的决策，无需花费资源学习“规避非法动作”的额外规则，收敛速度更快。
• 针对你遇到的两个问题：
  • 非法格子的Q值：由于智能体从未选择这些格子，网络不会对其Q值进行更新，因此它们的Q值不会主动降低——但这完全不影响训练，因为动作选择阶段已经将非法格子排除，无需关注其Q值。
  • 回合耗时过长：大概率是因为每次动作选择前的合法格子过滤逻辑效率低。可以通过以下方式优化：
    • 提前预计算空白格子的索引掩码，在网络输出Q值后直接将非法格子的Q值设为负无穷，再用argmax选择动作；
    • 用位运算或向量操作替代循环过滤，减少动态生成合法动作列表的开销。

方案2：允许选择任意格子，非法动作给予惩罚 #

• 训练效率劣势：智能体需要消耗大量探索步骤来习得“非法动作会触发惩罚”的规则，这部分探索完全无效，会占用训练资源，延缓对核心策略的学习进程。此外，惩罚权重的设置需要反复调试，权重过轻会导致智能体反复尝试非法动作，权重过重则可能引发训练不稳定（比如智能体过度保守，不敢尝试新动作）。
• 仅有的适用场景：仅当游戏合法动作空间动态变化极难提前过滤时才考虑，但对于m,n,k这类棋盘类游戏，完全没有必要采用该方案。

结论 #

优先选择方案1，重点优化合法动作的筛选效率（比如添加输出层掩码），既能保证动作合法性，又能提升每回合处理速度，训练效率远高于方案2。

内容的提问来源于stack exchange，提问作者user24851465