梯度下降算法无法拟合全范围正弦函数的原因排查

核心问题分析 #

布尔函数是低维离散映射，小网络即可拟合，但正弦函数是连续非线性的周期函数，对网络结构、数据预处理、训练参数的要求更高。以下是具体失效原因及修复方向：

1. 输入数据未归一化 #

正弦函数输入（如[-π, π]）的范围超出了tanh/sigmoid的敏感区间（tanh敏感区为[-2,2]），导致神经元激活饱和，梯度消失，无法有效学习特征。

• 修复：将输入缩放到激活函数敏感区间，例如：

  x = np.linspace(-np.pi, np.pi, 1000)
  x_scaled = x / np.pi  # 缩放到[-1,1]
  

2. 网络结构容量不足 #

拟合连续光滑函数需要更大的网络容量：

• 尝试增加隐藏层神经元数量（从个位数提升至10-20个）
• 新增1-2个隐藏层（例如：输入层→隐藏层1→隐藏层2→输出层）

3. 学习率设置不当 #

• 学习率过大：参数更新震荡，无法收敛到最优解；学习率过小：训练速度过慢，有限轮数内无法完成拟合。
• 修复：测试0.01、0.001等固定学习率，或使用动态衰减策略（如每1000轮学习率减半）。

4. 训练轮数不足 #

布尔函数几百轮即可收敛，但正弦函数拟合通常需要数千甚至上万轮迭代。

• 修复：增加训练epoch数，同时监控损失曲线，直到损失值稳定不再下降。

5. 输出层激活函数与目标范围不匹配 #

若正弦函数目标值范围是[-1,1]，tanh是合适的，但如果目标值未做缩放（如原始sin(x)范围是[-1,1]没问题，但若你用了其他范围则需调整），或错误使用了sigmoid（输出[0,1]），会限制拟合能力。

• 修复：确保输出层激活函数的输出范围与目标值范围完全匹配，或对目标值做归一化处理。

6. 权重初始化不合理 #

初始权重过大或过小会导致激活函数饱和，反向传播梯度失效：

• 修复：使用Xavier初始化（适配tanh/sigmoid）：

  def xavier_init(n_in, n_out):
      return np.random.randn(n_in, n_out) * np.sqrt(1 / n_in)
  

7. 损失函数选择错误 #

若误用分类任务的交叉熵损失来做回归任务（正弦拟合是回归），会导致优化方向偏离：

• 修复：使用均方误差（MSE）作为损失函数：

  loss = np.mean((y_pred - y_true) ** 2)
  

内容的提问来源于stack exchange，提问作者Damien Mattei