Transformers分类头是否仅使用单个Linear层？相关技术疑问

• 单个Linear层是否仅对pooled_out进行线性投影？
  是的，BertForSequenceClassification中的分类头就是将BERT输出的pooled_output（即<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]><[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>token对应的向量）直接传入一个Linear层，没有额外的非线性变换或其他处理，本质就是把全局语义表示线性投影到分类任务的标签空间中。

• 单个Linear层能否产生良好的预测结果？
  完全可以。BERT经过大规模预训练后，已经把文本的语义信息编码得非常充分，pooled_output本身就包含了整个输入序列的全局语义特征，一个Linear层足够完成这种特征到分类标签的映射。在绝大多数常规文本分类任务（比如情感分析、通用文本分类基准任务）中，这个简单结构就能达到很优秀的性能，和复杂分类头的效果差距极小。

• 为何不使用多个Linear层？
  主要有这几点原因：

  • 防过拟合：多Linear层会大幅增加模型参数规模，在小数据集上极易出现过拟合，而单Linear层参数少，泛化能力更强。
  • 预训练的价值：BERT的预训练已经完成了核心的语义编码工作，后续分类只需要简单的特征映射，没必要通过叠层增加复杂度。
  • 效率优先：单Linear层的计算成本更低，训练和推理速度更快，更适合实际场景的部署需求。

• Transformers是否提供使用多个Linear层作为分类头的选项？
  官方预定义的如BertForSequenceClassification这类分类模型默认都是单Linear层，但你可以通过两种方式实现多Linear层的分类头：

  1. 自定义分类模型：基于基础的BertModel搭建自己的分类器，在pooled_output后添加多层Linear及必要的激活、Dropout层，示例代码如下：

     from transformers import BertModel
     import torch.nn as nn
     
     class CustomBertClassifier(nn.Module):
         def __init__(self, bert_model_name, num_labels):
             super().__init__()
             self.bert = BertModel.from_pretrained(bert_model_name)
             self.classifier = nn.Sequential(
                 nn.Linear(self.bert.config.hidden_size, self.bert.config.hidden_size),
                 nn.ReLU(),
                 nn.Dropout(self.bert.config.hidden_dropout_prob),
                 nn.Linear(self.bert.config.hidden_size, num_labels)
             )
     
         def forward(self, input_ids, attention_mask=None):
             outputs = self.bert(input_ids, attention_mask=attention_mask)
             pooled_output = outputs.pooler_output
             logits = self.classifier(pooled_output)
             return logits
     

  2. 部分模型变体：少数其他模型可能自带复杂分类头，但BERT系列的官方默认实现都是单Linear层，自定义是最灵活的方式。

内容的提问来源于stack exchange，提问作者etang