语言模型输出层参数优化：如何缩减最终层规模？是否需等于词汇量？

如何缩减语言模型最终层的规模？ #

可以通过以下几种实用策略压缩最终层的参数规模：

• 共享输入嵌入与输出权重：让模型的输入token嵌入矩阵和输出层权重矩阵复用同一组参数。传统输出层是词汇量×隐藏层维度的Dense矩阵，共享后直接砍掉一半的参数，还能提升模型输入输出的一致性。
• 采用分层Softmax：把词汇表按频率构建成二叉树结构，输出层不再直接预测每个token的概率，而是预测树路径上每个节点的分类结果。输出层参数规模随词汇量对数增长，而非线性增长，高频词的预测路径更短，还能降低推理计算量。
• 低秩分解输出层：将原本的大Dense层拆成两个小矩阵的乘积，比如把V×H的矩阵分解为V×K和K×H（K远小于H），参数总量从V*H变为V*K + K*H，大幅压缩参数的同时，能保持近似的表达能力。
• 压缩词汇表基数：用字节对编码（BPE）、WordPiece等子词分词策略，把高频长词拆分为子词，避免为低频生僻词单独分配token，从根源上缩小词汇总量，减少输出层的参数基数。
• 混合专家（MoE）输出层：把输出层拆成多个小型专家模块，每个模块只负责一部分词汇的预测，推理时根据输入激活对应模块，既降低了单模块的参数规模，又能覆盖全词汇表。

最终层的尺寸是否必须等于词汇量？ #

不是必须的。
传统自回归语言模型用等于词汇量的输出层，是为了直接预测每个token的条件概率，这种方式直观易实现，但并非唯一方案。比如分层Softmax的输出层尺寸是树节点数量（远小于词汇量），再通过树路径映射到具体token；还有少数模型会先输出低维度向量，再通过映射逻辑转换为token概率分布。核心逻辑是：只要能完成从隐藏层输出到token概率分布的映射，输出层尺寸就可以灵活调整，不需要和词汇量完全相等。

大词汇量下模型是否会过于庞大？ #

如果直接用与词汇量等尺寸的传统Dense输出层，确实会导致参数大幅膨胀。比如隐藏层维度12k、词汇量50k的模型，输出层参数就有61亿，占总参数比例可能超过30%。但通过前面的优化策略，比如共享嵌入、分层Softmax或低秩分解，能把这部分参数规模降低一个数量级以上，完全可以在保留大词汇量优势的同时，避免模型过于庞大。

内容的提问来源于stack exchange，提问作者Bishwa Karki