HuggingFace翻译模型是否支持源与目标语言独立词汇表？

• 这不是HuggingFace的硬编码限制，只是主流预训练翻译模型普遍采用共享词汇表的设计。

以Helsinki-NLP/opus-mt-en-zls为例的细节解释 #

该模型的分词器确实加载了独立的源、目标语言SPM文件，但模型的编码器、解码器及lm_head共享同一嵌入层（对应config.json里的vocab_size: 57680）。你通过tokenizer(inputs, text_target=inputs, return_tensors="pt")得到的input_ids和labels数值不同，正好印证了分词器会针对源、目标文本分别用对应的SPM做分词，再将分词结果映射到同一个共享词汇空间中。

这种设计的原因是：

• 共享嵌入层可以大幅减少模型参数规模，降低训练和推理的资源消耗；
• 利用源、目标语言间的词汇重叠（比如同源词、通用术语）提升模型的跨语言理解能力。
  两个独立SPM的意义在于针对不同语言的文本特性做更精准的分词，再统一到共享词汇表进行后续处理，并非无意义的设计。

非共享词汇表的模型案例 #

公开的预训练翻译模型中这类案例较少，但HuggingFace框架完全支持构建非共享词汇表的翻译模型：

• 自定义Seq2Seq模型时，可以分别为编码器和解码器指定不同的词汇表大小（通过encoder_vocab_size和decoder_vocab_size配置）；
• 部分早期基于Transformer的翻译模型实现，或者特定领域的自定义模型，会采用非共享词汇表的设计。

内容的提问来源于stack exchange，提问作者Darren Cook