词汇表大小是否必须与bert_config.json中的vocab_size完全一致？

你原本的认知是正确的：正常可正常运行的BERT模型，vocab.txt的有效词表行数必须和bert_config.json中vocab_size参数的取值完全相等。

两者必须一致的核心原因 #

BERT模型的词嵌入层维度是直接根据vocab_size参数定义的，分词器加载vocab.txt后生成的token id取值范围必须和词嵌入层的下标范围完全匹配，否则运行时会直接报下标越界错误，就算做了截断兼容，最终的推理结果也会完全失真。

你遇到的数值不一致的常见原因 #

• 统计vocab.txt行数时计入了无效行：比如空行、手动添加的注释行、末尾的空白占位行，这类行在分词器加载词表时会被自动过滤，不会计入有效词表大小。你遇到的数值差近千行，大概率是这个原因导致的。
• 模型为未完成的魔改版本：开发者修改了vocab.txt的内容后没有同步更新bert_config.json里的vocab_size参数，这种模型本身是无法正常运行的。
• 自定义分词器自动追加特殊token：部分二次开发的分词器会默认向词表中追加自定义特殊token，但没有同步修改配置文件的参数，这类情况的差值一般和追加的特殊token数量一致，很少会出现近千行的差值。

验证方法 #

你可以自行统计vocab.txt中非空、无自定义注释标记的有效内容行数，开源原生中文BERT的默认vocab_size就是21128，如果统计得到的有效行数刚好和该数值一致，说明只是之前的统计方法有误，模型本身没有问题。

内容的提问来源于stack exchange，提问作者marlon