BERT默认词汇量30522的由来及非英文领域适配疑问

一、30522的具体由来 #

BERT的默认词汇表是基于WordPiece子词算法，在英文通用语料库（BooksCorpus+英文Wikipedia）上训练生成的，这个数字是工程与效果平衡后的结果：

• 核心构成：30000个高频英文子词/词汇，加上22个特殊令牌（包括[CLS]、[SEP]、[MASK]以及10个预留的[UNUSED]令牌等），最终凑成30522的规模。
• 选择逻辑：Google在训练初期测试了不同词汇量的效果与成本，30000左右的词汇量能保证英文通用文本的词汇覆盖率超过99%（几乎没有未登录词OOV），同时控制嵌入层的参数规模（30522×768≈2300万参数），避免因词汇量过大导致训练显存占用、时长大幅增加，且低频词参数无法充分训练的问题。

二、关于你的非英文场景担忧 #

这个词汇量完全是为英文优化的，对非英文文本几乎没有适配性：

• 非英文语言的字符、词汇逻辑与英文差异极大，默认词汇表中几乎没有对应目标语言的词汇，会导致严重的OOV问题，模型无法有效理解文本。
• 针对非英文特定领域，必须重新构建词汇表：
  • 基于你的目标领域非英文语料，使用适配目标语言的子词算法（比如中文可用WordPiece或Jieba+子词切分）生成专属词汇表；
  • 词汇量可根据语料规模和计算资源调整，比如中文场景常用10000-50000区间，既保证领域词汇覆盖率，又控制模型训练成本。

三、关于你的推测验证 #

你的推测完全正确：BERT研究者确实在词汇覆盖率与训练/推理成本之间做了核心平衡：

• 词汇量过小：OOV占比飙升，模型需要用大量子词拼接表示未登录词，增加序列长度和理解难度；
• 词汇量过大：嵌入层参数呈线性增长，训练时间、显存需求大幅上升，且低频词的嵌入参数无法得到充分训练，属于资源浪费；
• 30522是在英文通用场景下，能同时满足高覆盖率、可接受训练成本的最优规模之一。

内容的提问来源于stack exchange，提问作者Byoungchan Han