Linear层特征维度不同设置的作用、资料及入门课程咨询

降维场景 #

• 《ImageNet Classification with Deep Convolutional Neural Networks》（AlexNet）
  AlexNet的全连接层逐步把卷积输出的高维特征压缩到1000维（对应ImageNet的类别数），通过降维完成特征到类别的映射。
• 《Learning Multiple Layers of Features from Tiny Images》（LeNet-5）
  LeNet-5的最后两层全连接层从120维降到84维，再到10维，实现手写数字的分类任务。

等维场景 #

• 《Deep Residual Learning for Image Recognition》（ResNet）
  ResNet的残差块大量使用等维卷积/线性层，在不改变特征维度的前提下学习残差信息，解决深度网络的退化问题。
• 《Attention Is All You Need》（Transformer）
  Transformer的残差连接对应的投影层采用等维设计，保证特征维度一致，才能进行残差相加操作；Feed-Forward Network的残差分支也维持等维。

升维场景 #

• 《Attention Is All You Need》（Transformer）
  Transformer的QKV线性层会将输入特征升维到3倍隐藏层维度（比如隐藏层维度512时，QKV层输出1536维），拆分后得到Q、K、V三个等维特征，支撑注意力计算。
• 《Swin Transformer V2: Scaling Up Capacity and Resolution》（Swin Transformer V2）
  就是你给出的示例模型，qkv层通过升维生成注意力所需的三个特征分支，提升模型的特征表达能力。

• 理论+实践结合：
  李沐《动手学深度学习》：从基础神经网络到前沿架构，每部分都配套可运行的代码示例，手把手教你构建、训练模型，非常适合新手动手实践。
  吴恩达《深度学习专项课程》：系统讲解深度学习核心理论，从神经网络基础到卷积、循环网络，覆盖入门所需的所有核心知识点。
• 框架实操：
  PyTorch官方入门教程：聚焦PyTorch框架的使用，从张量操作到完整神经网络的构建、训练、推理，文档清晰，案例实用。
  TensorFlow官方入门指南：针对TensorFlow框架的基础教学，包含大量实战案例，适合想学习该框架的新手。

内容的提问来源于stack exchange，提问作者luân nguyễn