如何扩展FastText与BERT西班牙语预训练词嵌入以解决OOV问题？

针对FastText的扩展技巧 #

• 子词直接生成嵌入：FastText本身依赖子词（n-gram）训练，遇到OOV词汇时，直接拆分它的子词，把对应子词的嵌入向量加权平均就能得到这个词的嵌入。比如餐饮词churrasco如果不在预训练表，拆分出的chur、hur等子词肯定在模型里，直接计算平均就行，不用额外训练。
• 少量领域数据微调子词权重：哪怕只有几百句餐饮领域文本，也可以用它轻量微调FastText——固定大部分预训练参数，只调整子词的权重，让模型学会领域内子词的组合模式，生成的OOV词嵌入会更贴合餐饮场景。

针对BERT类模型的扩展技巧 #

• 扩展WordPiece词汇表+轻量微调：BERT用WordPiece分词，OOV词会被拆成子词。如果拆分后还有未登录子词，手动把高频领域子词加到词汇表，再用少量领域数据只训练新子词的嵌入向量，其他参数冻结，成本极低。
• 上下文语境生成嵌入：把OOV词放到餐饮领域句子里，比如La albondiga está deliciosa，输入BERT后提取对应子词隐藏层输出的平均值，作为这个词的嵌入。这种方式生成的嵌入和语境绑定，比孤立子词平均更精准。
• 适配器（Adapter）微调：用少量餐饮文本给BERT加适配器模块，只训练这些小模块，不改动原模型参数。模型能快速适配领域语义，OOV词拆分后的子词编码会更贴合餐饮场景的含义。

跨模型通用方法 #

• 词形相似词嵌入迁移：找预训练词汇表里和OOV词形最像的词，比如OOV的paellera（煎锅）和已有的paella（海鲜饭），把paella的嵌入当初始值，再用少量包含paellera的句子微调，只更新这个词的嵌入。适合有词形关联的领域词汇。
• 术语嵌入融合：像cocido madrileño这类多词餐饮术语，要么拆分单个词取嵌入加权平均，要么用预训练模型对整个短语编码，取<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>标记的输出作为短语嵌入。

内容的提问来源于stack exchange，提问作者Paloma Jimeno