如何设计拟合指定函数的单隐藏层反向传播神经网络

注：原提问中函数表达式存在笔误3x^，结合多项式阶次的递进规律，修正为标准四次多项式 y = 2x^4 + 8x^3 + 3x^2 + 9x + 2，以下设计严格遵循给定的结构要求展开。

网络结构（完全匹配要求） #

• 输入层：仅1个节点，接收单变量输入x，无额外输入维度
• 隐藏层：共1层，设置4个神经元，与输入层全连接，每个神经元配独立可训练偏置；隐藏层激活函数优先选ReLU，训练收敛速度快、梯度消失风险低，也可根据训练效果替换为tanh
• 输出层：仅1个节点，与隐藏层4个神经元全连接，配独立可训练偏置；输出层不设置任何激活函数，采用线性输出适配回归拟合任务

反向传播训练全流程 #

• 数据集构造
  选定x的合理采样区间（推荐[-5,5]，覆盖该四次函数的增减、凹凸变化区间），均匀采样5000~10000个样本点，直接代入多项式计算对应y值作为标签。按8:2比例拆分训练集和验证集，对x、y分别做归一化到[-1,1]区间，避免高次项数值过大引发训练不稳定，归一化的缩放、偏移参数单独留存，用于推理阶段的结果反归一化。
• 参数初始化
  输入层到隐藏层共4个权重、4个偏置，隐藏层到输出层共4个权重、1个偏置，总计13个可训练参数。若隐藏层用ReLU激活则采用He初始化，用tanh则采用Xavier初始化，禁止全零初始化，避免参数对称更新导致网络无法收敛。
• 前向传播逻辑
  单样本前向计算步骤固定：
  1. 计算隐藏层第i个神经元的线性输出：z_i = w_i * x + b_i（w_i为输入到第i个隐藏神经元的权重，b_i为对应偏置）
  2. 经激活函数得到隐藏层输出：h_i = activate(z_i)
  3. 计算最终预测值：y_pred = sum(v_i * h_i) + c（v_i为第i个隐藏神经元到输出层的权重，c为输出层偏置）
• 损失函数选择
  回归任务直接采用均方误差（MSE）作为损失：loss = mean((y_pred - y_true)^2)，计算每个batch的平均损失用于反向传播。
• 反向传播参数更新
  基于链式法则逐层计算梯度，再用优化器更新参数：
  1. 先计算输出层梯度：从损失对y_pred的偏导2*(y_pred - y_true)/batch_size开始，依次推导输出层权重v_i、偏置c的梯度
  2. 梯度反向传导至隐藏层，结合所用激活函数的导数，依次推导隐藏层权重w_i、偏置b_i的梯度
  3. 推荐用Adam优化器，初始学习率设为1e-3，按梯度负方向更新所有参数；每训练1轮验证1次验证集损失，当验证集损失连续10轮不再下降时提前停止训练，避免过拟合。

训练避坑提示 #

• 禁止手动给输入添加x²、x³、x⁴这类人工构造的特征，必须仅用原始x作为单输入，让网络通过隐藏层的非线性变换自主拟合多项式映射
• 若隐藏层用Sigmoid激活，学习率不要超过1e-3，否则容易出现梯度消失；若用ReLU出现大量神经元死亡（输出恒为0不更新），可替换为LeakyReLU
• 训练完成后必须在采样区间外选点做泛化性测试，同时绘制预测曲线和真实函数曲线对比，确认拟合精度；不允许修改给定的1输入、1输出、单隐藏层4神经元的结构要求。

内容的提问来源于stack exchange，提问作者nimbleclouds