如何结合预训练模型与CNN/LSTM/RNN开展文本分类及效果对比

整个对比实验核心要先控制变量，再分模块跑通，避免无效对比：

• 第一步：锁死实验基准
  固定数据集的训练/验证/测试集拆分（设固定随机种子），所有实验用完全一致的数据划分；所有预训练模型选同参数量级的版本（优先都选base版，参数量在100-120M区间），统一序列最大长度、填充截断规则；锁死训练配置：batch size、学习率、优化器、训练轮次、GPU环境全部统一，排除无关变量影响。
• 第二步：对齐不同预训练模型的词向量输出
  不同结构的预训练模型输出逻辑有差异，要统一处理成[batch_size, seq_len, hidden_dim]形状的词向量矩阵：
  • BERT/ERNIE/ALBERT/RoBERTa这类自编码模型，直接取最后一层隐状态输出即可，不要只用<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>的单token向量代替全序列词向量
  • XLNet是双向自回归结构，取所有token位置的最后一层隐状态，不要只取序列最后一个位置的输出
  • T5是编解码结构，只取编码器端的最后一层隐状态，不要接入解码器部分的输出
  • GPT是单向自回归结构，本身无预训练的分类token，直接取所有token的最后一层隐状态即可
    如果不同模型的隐层维度不一致，在输出后加一层线性投影，把所有词向量映射到相同维度，再接下游网络。
• 第三步：搭建三类下游分类网络
  所有下游网络的输入统一为前面对齐好的词向量矩阵，结构保持和经典实现一致，不要额外加复杂模块：
  • CNN分支：按TextCNN结构实现，设2/3/4/5四种尺寸的1维卷积核，每个卷积操作后接全局最大池化，拼接所有池化结果后接全连接层输出分类结果
  • RNN分支：用基础vanilla RNN结构，设1-2层双向结构，对所有时间步的输出做平均池化后接全连接层
  • LSTM分支：和RNN结构参数对齐，设1-2层双向结构，初始化时给遗忘门加偏置避免梯度消失，输出池化逻辑和RNN保持一致
• 第四步：对照实验与结果统计
  除了目标实验组，要补两组基线对照：一组是预训练模型直接接全连接层微调的分类结果，一组是静态词向量（如Word2Vec）接CNN/LSTM/RNN的结果；所有实验统一统计准确率、加权F1值、单样本推理速度、单样本显存占用四个维度的指标，对比才有参考性。
  注意第一阶段实验先冻结所有预训练模型的参数，只训练下游分类头，这组结果反映的是预训练词向量本身的表征能力；跑完这组再放开预训练模型最后2层做联合微调，测整体效果上限，两组结果不要混。

• 分词适配别偷懒：不同模型的分词规则、特殊token要求不一样，BERT/ERNIE/ALBERT/RoBERTa要在句首加<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>、句尾加[SEP]，GPT不需要加分类特殊token，XLNet的pad token位置和其他模型有差异，别套同一个分词逻辑，否则输入错误会直接导致词向量质量失效。
• 别乱改池化逻辑：不管接什么下游网络，都要保留全序列的词向量输入，不要图省事只用单token（比如<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>、序列最后一个token）的向量代替全序列，尤其是GPT、XLNet这类没有专门为分类任务预训练特殊token的模型，单token向量会丢失90%以上的语义信息。
• 下游网络别堆复杂度：CNN的卷积核尺寸不要超过5，文本是短序列，过大的卷积核几乎没有收益还会拖慢速度；RNN/LSTM不要堆超过2层，层数多了梯度消失问题会非常明显，和预训练词向量搭配时层数增加带来的收益极低。

所有模块都是开源社区非常成熟的实现，不需要找复杂的定制化项目：

• 预训练模型加载部分：用通用的预训练模型库加载对应权重即可，调用模型时传入参数output_hidden_states=True，返回值中的last_hidden_state就是需要的全序列上下文词向量，你列的所有模型都原生支持这个接口，不需要单独修改模型结构。
• 下游CNN/LSTM/RNN模块：直接参考经典文本分类教程里的基础实现即可，核心代码单模块不超过50行，自己手写比改第三方项目效率高，还不容易引入隐藏bug，只要注意输入层维度和前面输出的词向量维度对齐就行。
• 训练循环部分：写一个通用的训练函数，把预训练模型实例、下游网络实例、数据加载器作为参数传入，自动记录训练过程中的loss和评估指标，不要给每个模型单独写一套训练逻辑，很容易改漏参数导致实验变量不统一。

内容的提问来源于stack exchange，提问作者user19185238