微调西班牙语预训练RoBERTa模型实现情感分析的问题咨询

问题解答 #

问题1：使用TFRobertaForSequenceClassification加载模型做微调是否正确？ #

完全正确。模型卡标注的AutoModelForMaskedLM只是对应模型预训练阶段的任务头类型，roberta-base-bne的核心是通用的RoBERTa transformer编码器骨架，这部分参数和下游任务无关。只要是同架构的HuggingFace加载类，都可以正确读取编码器的预训练权重，只是不同加载类会在编码器顶部拼接对应下游任务的输出层而已。

问题2：加载时是否会自动迁移预训练知识适配文本分类任务？ #

不会自动完成适配，但会完整迁移预训练习得的通用西班牙语语义表示能力：

• 加载模型时，RoBERTa编码器的所有预训练权重都会完整导入，只有顶部新增的文本分类输出层是随机初始化的
• 你后续执行的微调训练过程，就是把预训练得到的通用西语文本理解能力，对齐到情感分类任务目标的过程，训练过程会同时调整编码器和分类层的权重，最终得到适配你的任务的模型

实用提示：如果你的情感分析任务不是默认的2分类，加载模型时记得传入num_labels参数指定类别数，示例：

model = TFRobertaForSequenceClassification.from_pretrained("BSC-TeMU/roberta-base-bne", num_labels=你的类别数量)

内容的提问来源于stack exchange，提问作者LeLuc