关于vinai/bertweet-base的vocab.txt词汇表索引的两大疑问

一、索引非连续的原因 #

• 词汇表构建的过滤机制：BERTweet基于RoBERTa架构，词汇表由大规模推特语料通过*字节对编码（BPE）*训练生成。训练过程中，会直接过滤掉出现频率极低的子词；后续优化阶段，也可能删除冗余或不符合场景的子词项。这些操作不会重新编排剩余子词的索引，因此原本连续的索引序列会出现空缺——缺失的索引对应的就是被移除的那些子词。
• 迭代调整的遗留痕迹：模型开发过程中，词汇表可能经过多次迭代调整，比如补充推特专属词汇、修正错误子词。每次调整如果直接删除旧条目而非从头重新生成索引，就会留下索引缺口。

二、起始索引偏高的原因 #

• 特殊标记与符号的前置占用：BERTweet继承了RoBERTa的设计，在词汇表最前端预留了大量特殊占位符（如<s>、</s>、<pad>、掩码标记等）；同时为适配推特场景，还加入了大量@用户、#话题、表情符号相关的特殊子词。这些内容占据了前3800左右的索引位置，所以常规词汇子词从该位置才开始出现。
• 多语言子词的前置编排：BERTweet支持多语言（重点覆盖东南亚语言），训练时会将多语言相关子词、特殊字符子词优先编排到靠前的索引区间，进一步占用了低索引位置，导致英文常规子词的起始索引偏高。

内容的提问来源于stack exchange，提问作者kkgarg