Space Cadet 3D弹球DQN强化学习模型异常行为求解

一、奖励机制优化 #

• 新增惩罚持续按压挡板的规则：检测到连续30帧以上保持按压同一挡板动作时，每帧给予-0.5的负奖励，打破AI通过持续按键限制球移动的投机行为。
• 调整挡板未移动惩罚触发条件：仅当球处于挡板可击打范围且朝向挡板移动时，未移动才给予-1惩罚，避免无意义惩罚导致AI过度保守。
• 增加有效击打专项奖励：当挡板成功击打弹球时，给予+5的正奖励（远高于得分增益的小奖励），引导AI学习主动击打而非限制球移动。

二、状态空间扩展 #

• 加入挡板当前状态特征：用0/1表示左、右挡板是否处于按压状态，让AI明确当前动作的持续状态，避免无意识连续按压。
• 加入球与挡板的相对关系特征：计算球到左、右挡板的水平距离，以及球运动方向与挡板的夹角，帮助AI精准判断动作时机，而非仅依赖坐标和位移。
• 加入球的速度特征：直接计算球的合速度（√(dx²+dy²)），让AI区分球的快慢，调整动作策略。

三、动作空间重构 #

• 保留原动作空间但添加动作冷却机制：同一挡板的按压动作触发后，强制冷却10-20帧才能再次触发，避免连续重复按压。
• 切换为原子击打动作集：将动作简化为0（无操作）、1（左挡板单次击打）、2（右挡板单次击打），每次动作触发后自动执行50ms的按压+释放流程，训练时将该动作视为原子操作，既避免持续按压，又不影响帧处理速度。

四、训练策略调整 #

• 优化探索率（ε）衰减节奏：前期保持0.9的高探索率，后期缓慢降至0.1，避免AI过早陷入“持续按压挡板”的局部最优。
• 启用优先经验回放（PER）：放大有效击打、生命损失等关键经验的权重，让AI更快学习正确行为模式，减少无效经验的干扰。
• 提高目标网络更新频率：从每1000步更新改为每500步更新，让AI的Q值估计更及时，避免过时策略引导持续按压。

五、神经网络结构优化 #

• 新增卷积层：若能获取游戏画面，提取球和挡板的视觉特征（如球的位置、挡板位置、运动轨迹），相比纯坐标输入，能更全面捕捉游戏状态，减少投机行为。
• 加入LSTM层：处理时序状态，让AI学习动作的连续影响，理解持续按压会限制球的正常运动，而非仅关注单次动作的即时奖励。

内容的提问来源于stack exchange，提问作者k9714