BERT模型中num_labels参数的内部作用机制是什么？

先明确：num_labels参数主要用来控制模型头部的输出维度，它的作用不止是简单在最后嵌入层接一个nn.Linear，具体得看你用的任务类型：

1. 配置阶段的作用 #

当你执行AutoConfig.from_pretrained(BERT_MODEL_NAME, num_labels=num_labels)时，这个数值会被写入模型的配置类（比如BertConfig）。之后加载具体任务模型（比如AutoModelForSequenceClassification.from_pretrained）时，框架会根据这个配置自动搭建对应输出维度的任务头部。

2. 不同任务下的头部结构 #

• 序列分类任务（比如情感分类、文本分类）：模型会在BERT的<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>token输出（也就是<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>位置的嵌入向量）后面，接一个nn.Linear(config.hidden_size, config.num_labels)层。这时候看起来像是只加了个线性层，但其实框架还会自动适配损失计算逻辑——比如用CrossEntropyLoss时，会自动匹配num_labels对应的类别数量。
• 其他任务场景：如果是命名实体识别（NER）、抽取式问答这类任务，num_labels的作用会跟着调整头部结构。比如NER任务里，模型会给每个token的输出都接一个线性层，输出维度就是num_labels（对应实体的类别数）；而问答任务通常把num_labels设为2，对应预测答案的起始和结束位置，这时候会有两个独立的线性层分别负责start和end位置的预测。

总结 #

num_labels的核心就是告诉模型最终要输出多少个类别或预测值，框架会根据你加载的模型类型（对应不同任务）来构建对应的头部结构，不只是在最后嵌入层加个线性层这么简单——线性层的数量、连接的位置都会随任务变化，num_labels是控制这些结构输出维度的关键参数。

内容的提问来源于stack exchange，提问作者greenButMellow