神经网络稳定性技术问询：DQN场景、损失图差异及收敛发散含义

一、DQN里稳定性/不稳定性的定义 #

• 稳定性：指DQN的Q值估计、网络参数更新过程保持平稳，不会出现剧烈波动，能持续向最优Q值逼近的状态。具体来说，每次更新后网络输出的Q值不会突变，参数更新的方向和幅度相对可控，能逐步学到一致的价值函数。
• 不稳定性：与稳定状态完全相反——Q值估计剧烈震荡，参数更新方向混乱，甚至出现学到的价值函数前后矛盾、智能体行为毫无规律的情况。比如训练中某一步Q值突然暴涨或暴跌，后续完全偏离之前的趋势，导致模型无法学到有效策略。

二、稳定与不稳定网络的损失图特征差异 #

• 稳定网络的损失图：
  • 整体呈现持续下降后趋于平缓的趋势，可能伴随小幅、规律的波动，但波动幅度会逐渐收窄。
  • 无突然的尖峰或断崖式升降，最终损失值稳定在较小区间内，不再有大幅变化。
• 不稳定网络的损失图：
  • 损失值波动剧烈且无规律，频繁出现大幅尖峰和暴跌，甚至损失值会持续增大。
  • 无明显下降收敛趋势，始终在大区间内来回震荡，甚至整体呈上升走向。

三、神经网络收敛、发散的具体含义 #

• 收敛：指网络参数更新到某一阶段后，损失值不再明显下降，而是稳定在较小的固定区间内；同时网络输出的预测值（比如DQN中的Q值）也趋于稳定，不再剧烈变化。此时模型已学到相对有效的规律，能对输入做出一致、准确的预测。
• 发散：是收敛的对立面，指网络损失值持续增大，参数更新幅度越来越大，最终导致网络输出的预测值完全失去意义（比如Q值变为无穷大或NaN），智能体行为彻底混乱，无法完成任务。这种情况通常是更新过程中的误差被不断放大，导致模型彻底失效。

补充：Target Network与Replay Buffer的作用对应 #

• Replay Buffer通过随机采样历史经验，打破样本间的相关性，避免网络因连续关联样本出现单向参数偏移，减少震荡以提升稳定性。
• Target Network固定一段时间内的目标Q值计算基准，避免当前网络参数变化导致目标值同步波动，让损失计算更稳定、参数更新方向更明确。

内容的提问来源于stack exchange，提问作者Bryan Carty