带噪声数据的DQN学习：奖励扰动对TD更新的影响及鲁棒性探讨

1. 10%概率反转二元奖励对TD更新的影响 #

• 短期会有波动，但长期影响不大：TD更新的核心是用当前奖励加下一状态的价值估计修正当前状态价值。10%的反转属于低概率噪声，单次更新会出现误差，但DQN的经验回放机制会随机抽取批次样本更新，相当于把噪声做了统计平均。只要大部分奖励信号正确，模型会逐渐过滤掉少数错误反馈，不会被带偏整体更新方向。
• 稀疏奖励场景下影响略大但仍可控：你的任务是回合结束才给出二元奖励，属于稀疏奖励场景。这种情况下每个回合只有一次奖励反馈，10%的错误意味着每10局就会出现一次错误奖励。但导航任务状态空间较小，模型通过多次试错就能快速纠正错误认知，整体TD更新的大方向不会混乱。
• 极端情况才会引发短期震荡：如果经验回放池中错误奖励的样本被频繁采样，可能会导致模型参数出现短期震荡，但随着正确样本持续积累，这种震荡会很快收敛。无需特意调整采样策略，默认的随机采样就足以应对10%的噪声水平。

2. DQN能维持性能的理论依据 #

• 经验回放的统计鲁棒性：DQN的经验回放将时序相关的样本转化为独立同分布的批次，这让模型对单个噪声样本具备抗性——就像用大量正确数据抵消小概率异常值的统计效应。只要噪声是独立低概率的，模型参数会收敛到正确的价值函数附近。
• 状态价值的连续性隐式正则：简单导航任务中，相邻状态的价值具有连续性（比如离目标更近的状态价值必然更高）。即便少数错误奖励导致某个状态的价值估计异常，相邻状态的正确价值会通过TD更新传递过来修正错误，相当于给模型加了隐式正则化，对抗局部错误信号。
• 目标网络的缓冲作用：目标网络固定一段时间再更新，避免了TD更新中的“目标漂移”问题，也降低了单次错误奖励对价值估计的冲击。目标网络的延迟更新相当于对价值估计做了滑动平均，进一步过滤了噪声带来的波动。

如果后续发现性能下滑，可以尝试增大经验回放池容量，提升正确样本的占比，或者适当降低学习率，减少单次更新的幅度，避免被错误样本带偏。

内容的提问来源于stack exchange，提问作者user19826638