使用BERT实现亚马逊评论星级预测的微调及从零训练相关问题

1. 你提到的教程是否为所需的微调操作 #

是的，该教程展示的就是文本分类场景下的标准BERT微调流程，完全匹配你的需求：它的任务目标就是基于亚马逊评论文本预测对应评分，和你的场景一致。整体流程逻辑是通用的：首先对评论文本做预处理（分词、按最大长度截断/补全、生成注意力掩码），加载预训练BERT底座，在模型输出层后接入适配星级分类数量（通常为5类）的全连接层，根据数据量选择冻结部分底层参数或者全量微调，在你的标注数据集上做有监督训练后即可得到预测模型。

2. 微调的适配性及从零训练的额外要求 #

• 微调并不能适配任意数据集都获得精度提升：如果你的数据集和预训练BERT的原始预训练语料分布差异极大（比如用通用领域预训练的BERT微调满是小众垂直黑话的小数据集），很可能出现微调后精度不如轻量规则模型的情况。但你的场景是亚马逊公开评论，属于通用文本范畴，只要你的标注数据集量级足够（单类别样本量不低于千级），微调基本都能获得可观的精度提升。
• 如果要从零训练模型，确实需要额外操作：开源预训练BERT已经通过海量无标注文本完成了自监督预训练，学会了通用文本语义表示。如果是从零训练，你需要先完成这个自监督预训练阶段，再做后续的星级分类任务微调，不能直接用随机初始化的BERT结构训练分类任务，否则精度会非常差。

3. 从零训练BERT的核心步骤 #

如果要完全从零训练专属BERT模型，按顺序执行以下步骤即可：

1. 准备预训练语料：如果要做亚马逊评论专属的BERT，最好收集千万级以上的亚马逊全品类无标注评论文本，完成清洗操作（去重、去乱码、过滤无效短文本）；如果没有足够的垂直语料，也可以混合通用公开语料补充量级。
2. 构建预训练数据集与分词器：按照BERT原论文要求生成自监督任务样本，包括掩码语言建模样本（随机掩盖15%的token让模型预测）、下句预测样本（判断两个句子是否为原文中的连续上下句）。如果你的场景存在大量亚马逊专属术语，建议基于你的预训练语料训练专属分词器，效果会优于通用开源分词器。
3. 初始化模型结构：根据你需要的模型大小，参考原论文参数设置Transformer层数、注意力头数、隐藏层维度，随机初始化全部参数。
4. 执行自监督预训练：用准备好的无标注样本训练模型，直到两个预训练任务的损失收敛。这一步对算力要求极高，基础的BERT-base规格模型用16张V100显卡也需要一周左右的训练时间，个人小算力不建议选择从零训练的方案。
5. 预训练完成后，加载你得到的BERT底座，和通用预训练BERT的微调流程一致，接入分类头在你的标注星级评论数据集上做微调，得到最终的预测模型。

内容的提问来源于stack exchange，提问作者Sharhad Bashar