深度学习新手求助：无隐藏层全连接网络权重可视化问题

嘿，你的这个观察真的很到位，刚好能把无隐藏层全连接网络的本质给讲透！咱们一步步拆解：

先搞懂无隐藏层网络到底在干嘛 #

你说的没错，这个没有隐藏层的全连接网络，本质上就是每个输出神经元对应一个数字类别的线性分类器。每个输出神经元的权重，其实就是在和输入图像做内积（说白了就是相关性计算）——权重和图像像素越匹配，输出的激活值就越高。

为什么权重初始化为0能看到数字轮廓？ #

当你把syn0全设为0的时候，训练刚开始模型完全“一无所知”。但梯度下降的第一次更新就很关键：

• 比如遇到一张手写"5"的样本，模型会朝着让"5"对应的输出神经元激活值更高的方向调权重
• 初始全0的权重，第一次更新时，权重会直接复刻输入图像的像素模式（因为梯度就是输入样本的特征乘以学习率）
• 当所有训练样本的更新叠加后，每个数字类别对应的权重矩阵，就变成了该类别所有训练图像的平均——这可不就是数字的清晰轮廓嘛！

为什么随机初始化看不到有效信息？ #

咱们常用的随机初始化（比如小范围正态分布/均匀分布的随机值），一开始就是完全杂乱的噪声。此时每个输出神经元的权重没有任何规律，和输入图像的相关性是随机的，可视化自然只能看到一堆噪点。只有经过几轮训练，权重才会慢慢朝着对应类别的平均图像方向收敛，这时候再可视化才能看到类似的轮廓。

还有个小提醒：虽然这次初始化为0让你看到了有趣的现象，但在深度学习里一般不推荐全0初始化——因为会导致所有神经元的梯度完全相同，权重更新也一模一样，失去了网络的多样性，复杂网络里很容易陷入局部最优。不过在这个无隐藏层的特殊场景下，反而因为这种“同步更新”帮你直观理解了权重的本质～

内容的提问来源于stack exchange，提问作者Mik3l