NEAT-Python自定义游戏AI训练无进化问题求助

核心问题拆解 #

AI fitness值无持续进化趋势，无法习得向目标移动的核心行为，仅存在个体随机偶然表现，需从适应度函数设计、NEAT配置参数、环境交互逻辑、代码执行流程四个维度逐一排查。

具体排查方向 #

1. 适应度函数合理性校验 #

• 解决奖励稀疏问题：若仅以“到达目标”为唯一奖励，初期种群几乎无法触发有效反馈，需添加阶段性梯度奖励：
  • 每帧向目标移动时给予微小正向奖励（如fitness += 0.1），远离目标时给予轻微负惩罚（如fitness -= 0.05）；
  • 采用距离衰减奖励公式：fitness += 1 / (1 + 当前目标距离)，让每一步移动都产生可感知的反馈；
• 避免极端惩罚：若触碰边界直接清零适应度，会导致大量个体无有效进化信息留存，可改为轻微惩罚（如fitness -= 0.2）。

2. NEAT核心配置参数调整 #

针对config-feedforward.txt关键参数测试调整：

• 连接权重突变率：默认值过低会限制种群多样性，可提升至0.7-0.9区间；
• 节点添加/删除突变率：若种群陷入局部最优，将节点突变率提升至0.15-0.25，引入新网络结构；
• 适应度阈值：若初始阈值过高，种群无法触发进化反馈，可先设置为“移动至目标距离50%”的可实现值，逐步提升；
• 物种隔离阈值：compatibility_threshold建议调整至3.0-5.0，避免物种合并丧失多样性或物种过多降低进化效率。

3. 环境与AI交互逻辑验证 #

• 输入参数有效性：
  • 确认归一化后的输入值范围在[0,1]或[-1,1]，匹配NEAT激活函数（如tanh）的敏感区间；
  • 验证“玩家方向”为相对目标的角度差，而非绝对方向，确保AI能感知与目标的位置关系；
• 输出动作映射：
  • 左右转向逻辑需连续可控，例如输出值对应转向角度（如output[0]对应左转角度值，output[1]对应右转角度值），而非离散开关；
  • 确保动作输出与环境状态更新同步，无帧延迟；
• 多基因组同局训练干扰排查：
  • 若多个体同局，需避免个体间碰撞等干扰，可先切换为单局单个体训练验证进化效果；若保留同局，需为每个个体独立计算适应度，禁止共享环境奖励。

4. 代码执行流程检查 #

• 种群进化循环：
  • 确认每世代结束后执行population.reproduce()，并重置population.fitness = None，避免适应度值跨世代继承；
  • 每局训练后必须重置AI个体的位置、方向、适应度值，防止上一局状态污染评估；
• 适应度计算时机：确保适应度在每帧或关键动作节点累加，而非仅在局末计算，避免反馈延迟。

验证步骤 #

1. 简化环境：移除边界、障碍，仅保留AI与目标，用单基因组单局训练，测试适应度函数是否能引导个体向目标移动；
2. 逐步恢复环境复杂度，同步调整NEAT配置参数，每世代记录平均/最高适应度，绘制进化曲线观察趋势；
3. 若某世代适应度突然下降，排查该世代的突变记录或物种结构变化。

内容的提问来源于stack exchange，提问作者Giuseppe Scoppetta