基于神经网络与遗传算法的Connect4程序学习效果不佳问题咨询

引入基准规则AI作为对战参考 #

• 不再仅依赖种群内网络互相对战，加入具备基础游戏逻辑的规则AI（例如能优先阻止对手连成四子、优先构建自身三子连线的简单AI）。
• 调整适应度计算方式，结合种群内对战胜率与对战基准AI的胜率，例如：适应度 = 0.6 * 基准AI对战胜率 + 0.4 * 种群内对战胜率，权重可根据训练阶段调整。
• 作用：避免因种群内大量低效个体导致的虚假高适应度，确保被选中繁殖的网络至少具备击败基础对手的能力。

改用相对排名或Elo评分作为适应度依据 #

• 放弃直接使用绝对胜率作为适应度，转而采用种群内的相对排名，或引入Elo评分系统计算个体实力：
  • 相对排名：将所有网络按对战总得分排序，排名越高对应适应度越高，弱化个体因对手菜而获得的虚高分数。
  • Elo评分：给每个网络设置初始评分，每次对战后根据胜负更新评分（胜者得分=初始分+K*(1-预期胜率)，败者反之，K值建议设为20），最终用Elo评分作为适应度。
• 作用：在种群整体水平较低时，依然能精准区分出相对更优的个体，避免适应度被低效对手干扰。

加入对称对战与自我对弈修正 #

• 强制所有对战进行两次：一次A先手、B后手，一次B先手、A后手，取两次对战的平均结果计算得分（例如两胜得2分、一胜一平得1.5分、平局得1分），抵消先手优势带来的分数偏差。
• 引入自我对弈：让每个网络与交换先手的自己对战，若个体仅依赖单一低效策略（如始终在同一列落子），交换先手后会轻易被击败，从而拉低其适应度。

扩展适应度维度，加入游戏状态奖励分 #

• 除最终胜负外，给每一步的棋盘状态设置奖励：
  • 自身即将连成四子：+5分
  • 成功阻止对手连成四子：+3分
  • 自身形成三子连线：+2分
• 最终适应度计算公式调整为：适应度 = 胜负基础分（胜10分/平5分/负0分） + 累计状态奖励分
• 作用：筛选出真正朝着赢棋方向行动的个体，避免仅靠对手失误获胜的低效网络获得高适应度。

优化种群更新策略 #

• 精英保留+随机淘汰：仅保留前20%的高适应度个体作为繁殖亲本，同时随机淘汰30%的低适应度个体，引入少量全新的随机权重个体，避免种群陷入局部最优（如集体依赖单一低效策略）。
• 动态调整变异率：训练初期设置较高变异率（如10%）以探索更多策略，后期逐步降低至2%-5%，平衡策略探索与最优策略的利用。

内容的提问来源于stack exchange，提问作者AJ222