Great question! Let's unpack this by first grounding it in the linear regression context you mentioned, then diving into how neural networks handle things differently.

先回顾线性回归里的多重共线性问题 #

As you noted:

• 多重共线性会导致线性回归的系数不稳定，模型会过度依赖个别特征的微小变化，解释性大打折扣。
• 完美多重共线性下，$X^TX$矩阵不可逆，标准OLS估计量确实无法计算——但像sklearn的LinearRegression这类工具会用奇异值分解（SVD）求伪逆，所以能给出一个解，只是这个解不是唯一的，系数依然不可靠。

那神经网络会被多重共线性困扰吗？ #

答案是：不像线性回归那样敏感，但也不是完全没影响，具体分这几点：

• 对预测性能影响极小：神经网络（尤其是带非线性激活函数的深层模型）不依赖特征的独立性。它可以自动学习特征间的组合和非线性映射，哪怕特征高度相关，模型依然能拟合数据并输出准确的预测。比如两个完全相关的特征，模型可能只会重点利用其中一个，或者学习它们的线性组合，但不会出现线性回归里系数爆炸的情况。

• 训练效率可能降低：虽然不影响最终结果，但多重共线性会让损失函数的优化曲面变得更“平缓”，或者出现更多局部最优，导致梯度下降收敛变慢——你可能需要更多迭代次数才能让模型收敛到理想的精度。

• 可解释性大幅下降：如果需要解读神经网络的特征重要性，多重共线性会让这件事变得非常棘手。和线性回归类似，相关特征的权重会变得不稳定，你没法清晰区分每个特征单独的贡献，因为模型会在它们之间分配权重，但本质上它们携带的是重复信息。

• 完美多重共线性也不会“崩溃”模型：哪怕是完全线性相关的特征（比如特征A=2*特征B），神经网络也不会像线性回归那样出现“无解”的情况。因为神经网络的优化是通过梯度下降最小化损失，而不是计算$X^TX$的逆。不过模型可能会学到冗余的权重（比如给A和B分别分配0.3和0.6，加起来等于原本单个特征的权重），但这对最终预测没有影响。

内容的提问来源于stack exchange，提问作者Martin Thoma