HuggingFace EncoderDecoderModel做NER时解码器分类层输出维度异常如何解决

Hugging Face的EncoderDecoderModel默认是为文本生成类Seq2Seq任务设计的，调用from_encoder_decoder_pretrained方法时，会自动将解码器的头部替换为适配语言生成任务的BertOnlyMLMHead，输出维度默认和词表大小一致，你之前在BertForTokenClassification中定义的3分类头会被直接覆盖，这就是你看到输出维度变为30522的核心原因。
另外补充一个隐含问题：你当前选择的编码器AutoModelForSequenceClassification是句子分类模型，自带的分类头会压缩序列维度，无法输出每个token对应的隐状态，也不符合序列标注任务的编码器要求。

步骤1：修正编码器选型 #

首先更换编码器为无分类头的基础模型，确保可以输出完整的序列隐状态：

from transformers import AutoModel, BertForTokenClassification, EncoderDecoderConfig, EncoderDecoderModel

# 初始化编码器（无分类头，输出每个token的隐状态）
encoder = AutoModel.from_pretrained("distilbert-base-uncased")
encoder.save_pretrained("Encoder")

# 解码器保持原有配置不变
decoder = BertForTokenClassification.from_pretrained('bert-base-uncased',
                                                     num_labels=3,
                                                     output_hidden_states=False,
                                                     output_attentions=False)
decoder.save_pretrained("Decoder")

步骤2：手动组合模型替换预测头 #

不要直接调用from_encoder_decoder_pretrained自动加载，手动替换解码器的默认生成头为你需要的3分类层：

# 加载编码器、解码器配置生成Seq2Seq配置
config = EncoderDecoderConfig.from_encoder_decoder_configs(encoder.config, decoder.config)
# 实例化空的EncoderDecoder模型
bert2bert = EncoderDecoderModel(config)

# 手动赋值编码器、解码器主体权重
bert2bert.encoder = encoder
bert2bert.decoder.bert = decoder.bert
# 替换默认的MLM生成头为3分类头
bert2bert.decoder.cls = decoder.classifier

# 验证输出维度，此时打印即可看到out_features=3
print(bert2bert.decoder.cls)

可选优化建议 #

如果你的任务是普通的单语言NER，输入输出序列长度完全一致，其实不需要使用Seq2Seq结构，直接调用DistilBertForTokenClassification设置num_labels=3即可实现需求，训练效率和效果都更稳定。

内容的提问来源于stack exchange，提问作者Mads