文本分类模型先无预训练词向量训练再加载预训练向量是否正确

你提出的这套训练方案 从根本原理上存在逻辑缺陷，不具备可落地性，核心问题是忽略了词嵌入生效的核心前提：同一嵌入层的所有向量必须处于对齐的统一语义空间中，具体问题拆解如下：

• 第一步从零开始训练嵌入层直到模型收敛，这个过程得到的词向量是完全适配当前任务数据集分布、和上层分类网络参数深度耦合的专属向量空间。这个空间里的语义维度定义、向量间的距离规则，都是和你训练出来的分类头一一匹配的，相当于给分类头量身定做了一套专属的输入度量标尺。
• 第二步直接将存在对应预训练向量的词权重替换为预训练值、同时冻结嵌入层的操作，本质是把两套完全不共用坐标系的标尺强行拼接在一起。预训练词向量是在大规模通用语料上训练得到的独立语义空间，和第一步自训练得到的嵌入空间不存在天然的维度对应关系，同一个语义在两个空间中的向量位置、距离分布完全不匹配。替换完成后，之前训好的分类头接收到的输入一半符合旧标尺规则、一半符合全新的标尺规则，初始性能会直接出现大幅下跌。
• 第三步的训练过程，本质是让上层分类器强行适配这个“半旧半新、度量单位不统一”的嵌入输入，分类器需要先消耗大量参数容量学习两套空间的换算规则，才能继续拟合分类目标，不仅浪费模型容量，最终效果大概率还不如直接使用常规的预训练加载方案。

符合原理的可替代实现思路 #

如果你的目标是同时利用预训练词向量的泛化能力和任务专属嵌入的适配性，可以采用以下经过验证的方案：

• 标准基础流程：嵌入层初始化阶段就直接加载预训练词向量，没有对应预训练向量的词做随机初始化；如果是小数据集场景，可以先冻结嵌入层训练到上层分类头收敛，再用极小的学习率微调嵌入层；如果是大数据集场景，可以直接端到端训练无需一开始冻结嵌入层。
• 双嵌入融合方案：如果确实要同时利用自训练嵌入和预训练嵌入的信息，不要直接做权重替换，可以将每个词的预训练向量和任务专属自训练向量做拼接作为最终嵌入，或者先用正交Procrustes方法将自训练嵌入空间线性映射到预训练嵌入的同一坐标系下，再做权重融合，保证整个嵌入层的向量处于同一个统一的语义空间。

补充：你提出的方案只有在极端场景下可能偶然跑出可用效果——即预训练语料和你的任务语料分布完全一致、且有对应预训练向量的词占总词表比例接近100%，但这种场景下直接从初始化阶段就加载预训练向量训练，效果会比你的三步方案更好，训练效率也更高。

内容的提问来源于stack exchange，提问作者Soroush Mirzaei