如何将BertTokenizer转换为BartTokenizer？格式适配方法问询

核心前提 #

BertTokenizer基于WordPiece分词机制，BartTokenizer采用ByteLevelBPE，两者分词逻辑完全不同，无法直接修改文件格式完成转换，必须通过适配词汇表并生成BART所需的分词器文件，以下是具体操作步骤：

步骤1：加载本地BertTokenizer #

先加载已保存的BertTokenizer，提取词汇表和自定义token：

from transformers import BertTokenizer

# 替换为你的本地分词器路径
bert_tokenizer = BertTokenizer.from_pretrained("./bert_tokenizer_dir")
bert_vocab = bert_tokenizer.get_vocab()
added_tokens = list(bert_tokenizer.added_tokens_encoder.keys())

步骤2：训练ByteLevelBPE分词器 #

使用tokenizers库训练符合BartTokenizer要求的BPE分词器，以BERT词汇表为基础：

from tokenizers import Tokenizer, models, trainers, pre_tokenizers, processors

# 初始化ByteLevelBPE模型
tokenizer = Tokenizer(models.BPE())
# 对齐BartTokenizer的预分词逻辑
tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=True)

# 配置训练器，匹配BERT词汇规模，加入BART标准特殊token
trainer = trainers.BpeTrainer(
    vocab_size=len(bert_vocab),
    initial_alphabet=models.BPE.alphabet(),
    special_tokens=["<s>", "<pad>", "</s>", "<unk>", "<mask>"]
)

# 训练分词器：优先用原训练语料（如["train_corpus.txt"]），无 corpus 可直接传词汇表列表
tokenizer.train_from_iterator(bert_vocab.keys(), trainer=trainer)

# 添加BERT中的自定义token
for token in added_tokens:
    tokenizer.add_tokens(token)

# 对齐BartTokenizer的后处理逻辑
tokenizer.post_processor = processors.ByteLevel(trim_offsets=True)

步骤3：保存为BartTokenizer兼容格式 #

将训练好的分词器保存，自动生成vocab.json和merges.txt：

# 先保存为tokenizer.json
tokenizer.save("./bart_tokenizer_dir/tokenizer.json")

# 用transformers加载并保存为标准BartTokenizer格式
from transformers import BartTokenizer

bart_tokenizer = BartTokenizer.from_pretrained("./bart_tokenizer_dir")
bart_tokenizer.save_pretrained("./bart_tokenizer_dir")

版本适配要点 #

• transformers 4.28.1 + tokenizers 0.13.3：
  • train_from_iterator支持直接传入词汇表列表，若报错可微调vocab_size参数；
  • 自定义token需手动确认是否全部添加，避免遗漏。
• transformers 4.45.2 + tokenizers 0.20.1：
  • 新版对训练语料要求更高，建议使用原任务语料训练，保证分词逻辑准确性；
  • BartTokenizer.from_pretrained可直接读取tokenizer.json，无需额外转换。

重要提醒 #

转换后的BartTokenizer分词结果与原BertTokenizer会存在差异，建议提前验证样本分词结果，确保符合训练脚本要求；若仅需文件格式适配而忽略分词逻辑，直接用BartTokenizer加载BERT词汇表可能导致异常，不推荐。

内容的提问来源于stack exchange，提问作者Raptor