PyTorch中nn.Linear输入输出尺寸相同的作用是什么？

首先明确核心结论：nn.Linear(512, 512)绝对不会返回和输入相同的张量。这层的计算逻辑是 output = input @ weight.T + bias，其中weight是一个(512, 512)的可学习权重矩阵，bias是长度为512的可学习偏置向量——两者都是随机初始化后通过训练不断更新的，输出结果和输入完全不同。

这类同尺寸线性层的作用主要有以下几点：

• 提升模型表达能力：
  单一线性层只能学习简单的线性映射，表达能力有限。但把线性层和ReLU这类非线性激活函数堆叠后，模型可以逼近任意复杂的非线性函数。同尺寸的线性层能提供更多可学习参数，让模型有能力捕捉输入数据中更细粒度、更复杂的特征模式。
• 配合非线性激活实现复杂变换：
  你怀疑的没错，ReLU这类非线性激活是关键。如果没有非线性激活，哪怕堆叠再多同尺寸线性层，最终效果也等价于一个单一的线性变换（矩阵乘法满足结合律，多个矩阵相乘可合并为一个）。但加上ReLU后，每一层的非线性变换会打破这种线性等价性，让模型的表达能力呈指数级增长。同尺寸线性层就是为非线性激活提供“变换后的特征载体”，让模型能在相同维度的特征空间里完成更复杂的特征重组。
• 适配任务需求的设计：
  你贴的代码是MNIST手写数字分类模型，并非自编码器。自编码器的目标是降维重构，所以需要缩小中间层尺寸；但分类任务需要保留足够的特征维度来学习判别性特征，用同尺寸线性层加深模型，能让模型学到更丰富的图像特征，从而提升分类准确率。

对应你贴的代码示例：

class NeuralNetwork(nn.Module):
def __init__(self):
    super(NeuralNetwork, self).__init__()
    self.flatten = nn.Flatten()
    self.linear_relu_stack = nn.Sequential(
        nn.Linear(28*28, 512),  # 升维提取初始图像特征
        nn.ReLU(),
        nn.Linear(512, 512),  # 同尺寸层深化特征学习，捕捉数字间细微差异
        nn.ReLU(),
        nn.Linear(512, 10),  # 降维到10个数字类别
    )

这里的nn.Linear(512,512)就是为了在512维特征空间内完成更复杂的非线性变换，帮助模型区分不同手写数字的特征细节。

内容的提问来源于stack exchange，提问作者copperzinc