训练集仅含重复单样本时反向传播网络的全局最优预测结果

全局最优下网络对该样本的预测值为 0.8，推导过程如下：

推导前提 #

常规反向传播训练的网络默认使用**均方误差（MSE）**作为回归任务的损失函数，二分类任务则常用二元交叉熵作为损失函数，两种场景下的最优解推导结果一致。

具体推导（以均方误差为例） #

设网络对该样本的预测值为 y，100个样本的总损失函数为：

L = 1/100 * [80*(1-y)² + 20*(0-y)²]

要得到全局最优，需要对损失函数求导后令导数等于0：

• 求导后可得：dL/dy = 1/100 * [-160*(1-y) + 40y]
• 令导数为0，化简得：-160 + 160y + 40y = 0
• 计算后得到：200y = 160 → y = 0.8

如果是二分类交叉熵损失，最优输出值本质是正样本的出现概率，也就是80/100=0.8，结果完全一致。

内容的提问来源于stack exchange，提问作者rahaprogramming