为何PyTorch的nn.Linear采用(out_features,in_features)形状的权重矩阵？

PyTorch里nn.Linear(in_features, out_features)的权重矩阵采用(out_features, in_features)的形状，而非直觉上的(in_features, out_features)，核心原因是在直观性、参数管理、效率和行业惯例上的综合考量，具体如下：

1. 契合神经元权重的直观逻辑 #

线性层的本质是每个输出维度对应一个独立的神经元，每个神经元需要一组长度为in_features的权重来计算输入的加权和。把权重设为(out_features, in_features)，意味着矩阵的每一行就是一个输出神经元的完整权重向量——你可以直接通过weight[i]获取第i个输出神经元的所有输入权重，完全符合我们对神经元权重的描述习惯。

如果用(in_features, out_features)的形状，每个神经元的权重会是矩阵的一列，获取时需要写weight[:, i]，既反直觉，也不符合日常讨论中“神经元对应一组权重向量”的表述逻辑。

2. 与偏置参数维度完美对齐 #

nn.Linear的偏置参数形状是(out_features,)，正好和权重矩阵的行数一一对应：权重的第i行对应偏置的第i个元素，分别是第i个输出神经元的权重和偏置。这种维度上的直接绑定让参数的管理、初始化和更新逻辑更统一，减少了理解和代码实现的复杂度。

3. 内存布局与计算效率优势 #

PyTorch默认采用行优先（C-style）的内存存储方式。在(out_features, in_features)的形状下，每个神经元的权重是连续存储的一行，访问时缓存命中率更高，能有效提升计算效率。

另外，在权重更新、正则化（比如L2正则需要对每个神经元的权重做惩罚）等操作中，按行访问连续的权重向量比按列访问（列在内存中不连续）更高效，避免了额外的内存拷贝开销。

4. 符合行业通用惯例 #

不只是PyTorch，TensorFlow的Dense层、Keras的Dense层等主流框架都采用了相同的权重形状设计。这一设计也和学术文献中的表述一致——学术讨论中通常会说“每个输出神经元拥有一个输入维度的权重向量”，对应到矩阵就是(out_features, in_features)的形状，统一的惯例降低了跨框架迁移和学术交流的成本。

关于转置开销的误解 #

你可能担心前向传播时的转置操作会带来性能损耗，但实际上PyTorch底层并不会对权重矩阵做物理转置，而是通过BLAS等优化库的接口（比如指定矩阵转置参数）直接完成计算，几乎没有额外开销。反而因为内存布局的优势，实际计算效率反而更高。

内容的提问来源于stack exchange，提问作者korangar leo