神经网络前向传播中权重与输入的点积顺序：哪种计算方式正确？

嘿，这个问题确实很容易搞混——我刚入门神经网络的时候也纠结过好一阵！其实这两种写法本质上是等价的，区别只在于你对权重矩阵的维度定义不同，咱们一步步拆解清楚：

两种写法的核心差异：权重维度的定义 #

• 第一种：Weight.dot(Input) + Bias
  这里的权重矩阵Weight维度是 [输出特征数量, 输入特征数量]，而输入Input的维度通常是 [输入特征数量, 样本数量]（如果是单个样本，就是一维的[输入特征数量]）。
  举个例子：假设输入有3个特征，要输出2个特征，那么Weight是2×3的矩阵，Input是3×N（N是样本数）的矩阵，两者点积后得到2×N的结果，刚好能和维度为[2]的偏置Bias做广播相加，最终得到每个样本的输出特征。

• 第二种：Input.dot(Weight) + Bias
  这种写法里，权重矩阵Weight的维度反过来了，是 [输入特征数量, 输出特征数量]，而输入Input的维度是 [样本数量, 输入特征数量]（单个样本就是[1, 输入特征数量]）。
  还是刚才的例子：Input是N×3的矩阵，Weight是3×2的矩阵，点积后得到N×2的结果，同样可以和维度为[2]的Bias广播相加，结果和第一种写法完全一致——只是权重矩阵的存储顺序转置了而已。

关键结论 #

两种写法都完全正确，不存在“谁对谁错”，核心是保证权重矩阵的维度和输入的维度匹配，让点积运算合法。不同的深度学习框架或者代码风格可能偏好其中一种：

• 有些场景会把特征维度放在前面（对应第一种写法）；
• 现在主流框架（比如PyTorch、TensorFlow）更习惯把样本维度放在batch的第一位，所以第二种写法会更常见。

如果是单个样本的一维输入，两种写法最终得到的输出结果数值完全相同，只是权重矩阵的形状需要对应调整而已。

内容的提问来源于stack exchange，提问作者Bon