SentencePieceUnigramTokenizer初始化报错：意外关键字参数'unk_token'

问题原因 #

SentencePieceUnigramTokenizer的初始化方法不支持直接传入unk_token、eos_token、pad_token这类参数，这些特殊token的配置需要通过专门的方法或训练器来设置，直接在初始化时传递会触发参数不匹配的错误。

解决步骤 #

1. 正确初始化分词器 #

先不带特殊token参数完成初始化：

from tokenizers import SentencePieceUnigramTokenizer

# 空初始化，或传入已有模型路径（如model_path="your_model.model"）
tokenizer = SentencePieceUnigramTokenizer()

2. 配置特殊token #

通过add_special_tokens方法设置所需的特殊token：

# 方式1：直接传入特殊token列表
special_tokens = ["", "", ""]  # 依次对应unk、eos、pad，可按需修改内容
tokenizer.add_special_tokens(special_tokens)

# 方式2：用字典精准指定token类型
special_tokens_dict = {
    "unk_token": "",
    "eos_token": "",
    "pad_token": ""
}
tokenizer.add_special_tokens(special_tokens_dict)

3. 训练新模型时指定特殊token #

如果是从头训练分词器，需要在UnigramTrainer中配置特殊token，而非初始化分词器时传递：

from tokenizers.trainers import UnigramTrainer

trainer = UnigramTrainer(
    unk_token="",
    eos_token="",
    pad_token="",
    # 其他训练参数（如vocab_size等）按需添加
)
# 传入训练数据执行训练
tokenizer.train(files=["your_training_data.txt"], trainer=trainer)

关键说明 #

SentencePieceUnigramTokenizer的初始化参数仅用于加载已有模型文件，特殊token属于分词器的行为配置项，必须通过专门的方法或训练器来完成设置。

内容的提问来源于stack exchange，提问作者Antoine23