情感分析场景下RoBERTa等BERT类预训练模型是否需要重新训练？

核心结论 #

预训练BERT类模型不需要完全重新训练即可投入使用，是否需要微调取决于你的应用场景。

分场景说明 #

• 通用场景（普通电商评论、公共社交文本、通用用户反馈的正负向情感判断）：直接使用已在公开大规模情感分析数据集上完成微调的BERT类开源模型即可，这类模型在通用场景下的准确率普遍可达85%~90%，完全满足你80%的准确率要求，不需要额外训练。以常用的bert-base-sentiment类微调模型为例，直接调用推理接口即可输出情感分类结果，开发成本和Vader接近，准确率提升非常明显。
• 垂直领域场景（带大量行业专有术语的医疗、金融、工业类文本情感判断）：通用微调模型的适配性不足，可能达不到80%的准确率，这时仅需用你的业务场景下的标注数据做小样本微调即可，通常仅需标注数百到数千条对应文本，就能把准确率提升到目标阈值以上，不需要从零开始训练模型。

补充说明 #

你之前使用Vader仅达到64%的准确率是工具本身的特性决定的：Vader基于词典和规则实现，对隐喻、网络流行语、领域特定表达的识别能力存在先天短板，替换为BERT类模型后准确率提升15%~25%属于正常水平。

内容的提问来源于stack exchange，提问作者Shrumo