神经网络训练过程中应何时调用Back-propagation反向传播算法

• 单样本更新（随机梯度下降SGD）的逻辑本身是合理的，你之前训练失效大概率不是这个方案的问题，优先排查几个常见错误：
  • 网络结构是否满足XOR训练要求：必须包含至少1层含≥2个神经元的隐层，所有隐层和输出层都要使用非线性激活函数（如sigmoid、ReLU，不能用线性激活）
  • 学习率设置是否合理：SGD训练XOR时学习率建议设在0.01-0.3区间，学习率过高会导致参数震荡无法收敛，过低会导致收敛速度极慢
  • 损失函数选择是否匹配：这类二分类任务建议优先用均方误差或者交叉熵损失
• 如果你想切换为全训练集累积误差后再更新的批量梯度下降（BGD）方案，对于XOR这种小数据集反而收敛更稳定，具体存储和使用逻辑如下：
  1. 初始化梯度累积容器：针对网络的所有权重、偏置参数，分别创建对应的梯度累加变量，初始值统一设为0
  2. 遍历全训练集的4组样本：
     • 输入单组样本做前向传播，得到预测输出
     • 计算当前样本的损失，调用反向传播接口得到当前样本对应的所有参数的梯度值
     • 将当前梯度值累加到对应参数的梯度累加变量中，不执行参数更新
  3. 全数据集遍历完成后，执行参数更新：
     • 可以直接用累加的总梯度更新参数，也可以将累加梯度除以样本总数4得到平均梯度后再更新，后者能避免梯度幅值随样本量上涨，适配性更强
  4. 清空所有梯度累加变量的数值，进入下一轮迭代循环即可

实操提示：用BGD训练XOR时，学习率设0.1-0.5区间，隐层2个神经元+Sigmoid激活，输出层Sigmoid激活+均方误差损失，通常迭代1000-5000次就能将总损失降到0.01以下。

内容的提问来源于stack exchange，提问作者James