采用高阶多项式替代神经元线性表达式能否提升神经网络精度？

为什么不直接用你提出的高阶多项式形式？ #

• 参数冗余与效率低下：你提出的表达式本质是对线性组合z = w₁x₁ + w₂x₂ + ... + b做多项式展开，这等价于先计算线性组合再做多项式映射。但现有神经网络的「线性组合+非线性激活函数」结构，已能通过堆叠层实现任意复杂函数的拟合（万能逼近定理）。而你的多项式形式参数数量会随n的增长急剧膨胀，且项与项之间存在依赖关系，参数利用率远低于分层的线性+非线性组合。
• 优化难度大幅提升：高阶多项式的导数包含大量高次项，反向传播时极易出现梯度消失或爆炸，导致模型难以收敛。相比之下，ReLU、Sigmoid等常用激活函数的导数逻辑简单，优化过程更稳定，训练效率更高。
• 泛化能力先天不足：高阶多项式极易对训练数据过拟合，尤其是n较大时，模型会过度捕捉数据中的噪声。而神经网络通过分层非线性变换，配合Dropout、权重衰减等正则化手段，能更好平衡拟合能力与泛化能力。

无限计算资源下能否提升精度？ #

在理想的无限计算资源下，这种高阶多项式形式理论上可以达到与深度神经网络相当的精度，但不存在本质上的精度提升：

• 依据万能逼近定理，只要模型容量足够，无论是你的多项式形式还是深度神经网络，都能逼近任意连续函数。无限资源意味着可以将n设得足够大，让多项式的拟合能力覆盖所需的函数复杂度。
• 但即便资源无限，多项式模型的训练成本（如梯度计算的复杂度）远高于深度网络，且泛化能力依然是硬伤——除非针对性约束多项式项以避免过拟合，但这又会回归到类似神经网络正则化的思路，并未体现出优势。

内容的提问来源于stack exchange，提问作者Vishnu Balaji