带有非线性激活函数的Neural Networks是否属于复杂Linear Functions？

原题呈现 #

5. Neural Networks 是带有大量参数的复杂______________。
   a) Linear Functions;
   b) Nonlinear Functions;
   c) Discrete Functions;
   d) Exponential Functions

原参考答案及解释：

答案: a. 解释: Neural Networks 是带有大量参数的复杂Linear Functions。

你的质疑完全合理，原答案是错误的 #

先给你明确结论：主流应用中的神经网络（带有非线性激活函数）是典型的非线性函数，原解析的说法不成立。

这里得拆解清楚两个场景：

• 如果是完全没有激活函数的“纯线性神经网络”——也就是只有线性全连接层堆叠，那不管参数有多少，它确实还是线性函数。因为线性变换的叠加本质上等价于一个单一的线性变换，比如两层线性层 $W_2(W_1x + b_1) + b_2$ 可以简化为 $Wx + b$（其中 $W=W_2W_1$，$b=W_2b_1 + b_2$），所以这类网络确实是线性的，但这种网络几乎没有实际应用价值，因为它无法拟合任何非线性的真实世界数据。
• 但我们平时讨论的“神经网络”，默认都是包含非线性激活函数的（比如ReLU、Sigmoid、Tanh这些）。加入激活函数后，整个网络的输出就不再是输入的线性组合了——比如经过Sigmoid激活后，输出会被映射到(0,1)区间，呈现出非线性的特性。正是这些非线性组件让神经网络能够拟合复杂的模式，解决图像分类、机器翻译这类复杂任务，这也是神经网络的核心价值所在。

回到题目本身，它没有任何限定说“无激活的线性神经网络”，所以按照主流定义，正确答案应该是 b) Nonlinear Functions。你对原解析的质疑完全站得住脚，不用怀疑自己的判断~

内容的提问来源于stack exchange，提问作者WildCat