如何扩展预训练Transformer模型词汇量？含嵌入层微调及无监督方法疑问

• 核心结论：是的，你可以用包含新老词汇的混合文本，以无监督方式微调嵌入层，让模型学习新token和现有词汇的语义关联。这种方法依托文本中token的共现关系，能让模型自动捕捉新领域词汇（比如新冠变异株名称）与目标主题（比如医疗健康）的对应联系。

• 具体操作要点：

  1. 准备适配语料：优先选用包含新token且与目标主题强相关的领域文本，同时混入一定量的通用语料，避免模型遗忘原有语义知识。
  2. 采用掩码语言建模（MLM）任务微调：这是最常用的无监督微调方式——对输入文本随机掩码部分token，让模型预测被掩码内容，强制模型学习新token与上下文的语义绑定。针对DeBERTa-v3这类模型，直接用transformers库的Trainer类搭配DataCollatorForLanguageModeling就能实现。
  3. 分层冻结训练：初期可仅训练嵌入层，让新token的嵌入快速适配现有语义空间；若效果不达预期，再逐步解冻上层Transformer层进行少量微调，注意控制训练步数避免过拟合。
  4. 效果验证：构造包含新token的NLI测试样本，比如“[新冠变异株名] 属于医疗健康主题”这类文本对，检验模型是否能正确判断蕴含关系，以此验证新token的语义关联是否学习到位。

• 关键注意事项：

  • 若新token数量较多，建议分批次添加并微调，避免一次性引入过多未知语义导致模型语义空间混乱。
  • 语料质量直接影响效果，确保新token在语料中的上下文符合你期望的语义场景，比如不要让新冠变异株名出现在无关主题的文本语境中。

内容的提问来源于stack exchange，提问作者Shirley Ow