基于DQN的小行星游戏智能体持续射击异常问题求助

• 奖励机制失衡排查
  检查当前奖励函数是否对射击动作给予了过高的正向奖励，或是对移动、Idle动作的激励不足。比如若击中小行星的奖励远高于躲避、占据有利射击位的奖励，智能体自然会优先选择射击。调整方向：降低单次射击的基础奖励，增加移动到安全/优射击位置的正向奖励，同时给无效射击（未击中目标）设置轻微负奖励。
• 探索策略优化
  若ε-greedy策略的ε值过低，智能体会过早收敛到局部最优的射击动作。可以尝试：
  • 提高初始ε值（比如从0.1调至0.5），延长探索周期；
  • 放慢ε的衰减速度，让智能体有更多机会尝试非射击动作；
  • 替换或结合玻尔兹曼探索策略，基于动作Q值的概率分布选动作，避免过度集中在单一动作上。
• 状态与动作空间合理性校验
  • 确认状态输入包含足够移动相关的关键信息：比如火箭与小行星的相对位置、两侧小行星的逼近信号等。如果状态里缺乏这些信息，智能体无法判断移动的价值；
  • 检查动作执行逻辑：确保左移、右移动作能正常改变火箭位置，排除代码bug导致移动无效的问题。
• 训练稳定性优化
  • 检查Q值初始化设置，若射击动作的初始Q值过高，会导致智能体从训练初期就偏好射击，后续难以纠正；
  • 扩大经验回放池的规模，保证训练样本的多样性，避免智能体反复学习单一动作的样本；
  • 适当降低网络学习率，防止学习率过高导致智能体快速固化射击偏好，让训练过程更平稳。
• 添加重复动作惩罚
  对连续重复的射击动作设置累积负奖励，比如连续射击3次及以上时，每次额外扣除少量奖励；同时对合理移动、保持Idle的行为给予正向奖励，引导智能体探索全动作空间。

内容的提问来源于stack exchange，提问作者Kaushik Bhat