前馈全连接神经网络中，后续层节点如何合并上层输入生成单输出？

首先纠正一个小误解：你提到输入层每个节点是100×1输入和1×100权重矩阵点积，其实更准确的是，输入层每个节点对应一个1×100的权重向量，和100×1的输入向量做点积，得到一个标量，再加上该节点的偏置（如果网络包含偏置项的话），最后经过激活函数，得到输入层单个节点的输出。输入层20个节点最终会输出一个20×1的向量。

回到你的核心问题：全连接隐藏层的每个节点处理输入层的20个输入时，采用的是加权求和的方式，具体流程是：

• 隐藏层的每个节点对应一个20维的权重向量（每个权重对应输入层的一个节点输出）
• 将输入层的20个输出值，分别和对应的权重相乘，然后把所有乘积加起来（本质就是20×1的输入向量和1×20的权重向量做点积）
• 再加上该隐藏层节点的偏置项（可选，大部分网络会包含）
• 最后经过激活函数（比如ReLU、Sigmoid），得到这个隐藏层节点的单个标量输出

举个简单的例子：假设输入层输出是[x₁, x₂, ..., x₂₀]，隐藏层某节点的权重是[w₁, w₂, ..., w₂₀]，偏置是b，那么该节点的输出就是f(w₁x₁ + w₂x₂ + ... + w₂₀x₂₀ + b)，其中f是激活函数。

这种加权求和的方式是全连接层的核心逻辑，它能让每个隐藏层节点学习到输入层不同节点输出的组合特征，而不是简单的拼接或无权重的求和。

内容的提问来源于stack exchange，提问作者Youngun