如何构建神经网络实现非线性回归 拟合带噪声函数及未知形式多元样本

基于通用近似定理的多层感知机（MLP），不需要预先知道目标函数是多项式、对数、指数还是混合形式，就能完成从输入到输出的连续映射学习，刚好匹配从已知简单线性任务扩展到未知形式多元拟合的需求。

针对给定带噪声三次函数的最小实现 #

你提到的目标函数2 * x ** 3 + 4 * x + 8 + random noise场景，完全不需要手动做多项式特征工程，直接构建轻量网络即可。对比你熟悉的sklearn LinearRegression，后者要拟合该三次函数必须手动提取x、x²、x³类的扩展特征才能达到拟合效果，神经网络可以自主学习这些非线性变换，大幅降低特征工程成本。

• 网络结构配置
  • 输入层：1个神经元，直接接收原始x值，无需提前做多项式特征扩展
  • 隐藏层：仅需2层，每层4-8个神经元即可，激活函数选择ReLU或SiLU，避免sigmoid激活引发的梯度消失问题。根据通用近似定理，这个规模的网络已经足够拟合三次多项式这类简单非线性函数
  • 输出层：1个神经元，使用线性激活，匹配连续值回归的输出要求
• 训练配置注意事项
  • 损失函数使用MSE，和sklearn LinearRegression的损失逻辑保持一致
  • 随机拆分10%-15%的样本作为验证集，避免模型把随机噪声当成规律拟合（过拟合）
  • 优化器选择Adam，初始学习率设为1e-3，训练1000轮左右即可收敛

适配未知形式多元拟合的通用方案 #

当目标函数形式完全未知（无先验判断是多项式、指数、对数还是多元混合关系）时，按以下规则调整模型即可，不需要针对函数形式做特殊设计：

• 网络结构通用调整逻辑
  • 输入层神经元数与样本特征维度保持一致，例如3元输入就配置3个输入神经元
  • 隐藏层在低维场景（特征数<20）下配置3-4层，每层32-128个神经元即可，不要盲目堆叠深层网络，小样本下大模型反而容易过拟合。激活函数统一选用ReLU或GELU，在通用回归场景下性能稳定
  • 输出层根据回归任务的输出维度配置，单目标回归用1个线性神经元，多目标回归则对齐输出维度配置对应数量的线性神经元
• 通用防过拟合操作（针对带噪声的真实样本场景）
  • 加入L2权重衰减，初始系数设为1e-4，根据验证集表现动态调整
  • 在隐藏层后加入Dropout层，比例设置为0.1-0.2，不要设置过高影响模型正常学习
  • 启用早停机制：当验证集损失连续20轮不下降时就终止训练，让模型只学习稳定的函数映射，过滤掉样本中的随机噪声
• 预处理校准
  • 对所有输入特征做标准化（减均值除标准差），和线性回归的预处理逻辑一致，可大幅加快模型收敛速度
  • 带噪声的样本不需要追求训练集损失降到0，当模型的最终验证损失和样本自带噪声的方差值接近时，就说明模型已经完成了真实函数的拟合，剩余残差是无法预测的随机噪声

常见踩坑提醒 #

• 简单低维回归场景不需要使用CNN、Transformer等复杂结构，冗余参数会提升模型学习噪声的概率
• 小样本场景下不要使用超过5层的深层网络，模型会过度拟合样本中的随机波动
• 如果验证发现目标函数存在强周期、强分段特性，仅需要对应提升隐藏层的神经元宽度即可，整体结构逻辑不需要调整

内容的提问来源于stack exchange，提问作者Ashkan