蒙特卡洛树搜索（MCTS）在对战模式中陷入无限循环的问题排查

嘿，这问题我之前做桌游AI的时候踩过一模一样的坑！咱们来拆解一下：

首先得明确：游戏本身的平局检测是基础刚需，MCTS的防循环优化是辅助补充，两者配合才能彻底解决问题。

为什么会出现无限循环？ #

训练阶段你用的是概率伪随机选动作，这种随机性刚好能打破“双方都选最优解”导致的状态闭环；但对战模式切换成greedy选胜率最高的动作后，双方AI都会死死盯着当前胜率最高的走法，一旦进入某个状态循环（比如你走A我走B，几步后又回到初始状态），就会无限重复下去——这本质上是游戏规则缺失了状态重复的平局判定，同时MCTS的greedy策略没有抗循环的设计。

具体解决方案 #

1. 先给游戏加上状态重复的平局检测（必须优先做） #

不管用不用MCTS，桌游本身都应该具备“状态重复判定平局”的规则（比如国际象棋的三次重复和棋），这属于游戏规则的完整性问题，不是AI算法的锅。

实现思路很简单：

• 每次落子后，把当前棋盘状态转换成一个可哈希的标识（比如把棋盘数组转成字符串，或者计算一个哈希值）
• 维护一个字典，记录每个状态出现的次数
• 当某个状态的出现次数达到预设阈值（比如3次），直接判定为平局，终止当前对局

举个伪代码例子：

# 全局或对局级别的状态计数字典
state_count = {}

def check_draw(board_state):
    state_hash = hash(str(board_state))
    if state_hash in state_count:
        state_count[state_hash] += 1
        if state_count[state_hash] >= 3:
            return True
    else:
        state_count[state_hash] = 1
    return False

2. 给MCTS的对战策略加抗循环优化（辅助增强） #

在游戏规则补全的基础上，你还可以给MCTS的greedy选择加一点小改动，进一步降低循环概率：

• ε-greedy微调：不要严格选胜率最高的动作，而是设置一个极小的ε（比如0.01），有ε的概率随机选一个合法动作，其余时候选最优解。这种微小的随机性足以打破潜在的循环，又不会影响AI的对战强度。
• 搜索时的状态去重：在MCTS的搜索过程中，记录当前路径上已经访问过的状态，避免在同一搜索分支中重复访问相同状态，减少无效搜索的同时，也能防止搜索过程中出现循环。

总结 #

先把游戏的平局检测机制补上，这是解决问题的核心；再给MCTS的对战策略加一点微小的随机扰动或者搜索状态去重，双管齐下就能彻底解决无限循环的问题啦！

内容的提问来源于stack exchange，提问作者Tue