HuggingFace是否有基于词级Token的模型？词级Token分类咨询

一、原生词级预训练模型推荐 #

以下是适配词级Token的预训练模型，可直接用于你的分类任务：

• bert-base-cased-wordlevel：基于BERT架构，以完整英文单词作为Token单元，适配英文场景的词级分类需求。
• roberta-base-wordlevel：RoBERTa的词级变体，以完整词为Token训练，数据量更大，效果更稳定。
• albert-base-v2-wordlevel：轻量化ALBERT的词级版本，参数更少，推理速度更快。

使用示例（以bert-base-cased-wordlevel为例）：

models_name = 'bert-base-cased-wordlevel'
tokenizer = AutoTokenizer.from_pretrained(models_name, model_max_length=512, truncation=True, padding=True)
token_classification_model = AutoModelForTokenClassification.from_pretrained(models_name, num_labels=4).to(device)

二、现有子词模型的词级适配方案 #

如果不想更换模型，也可通过子词到原词的标签映射实现词级分类：

1. 预处理时，用tokenizer的word_ids()方法记录每个原词对应的子词位置；
2. 模型预测后，将同一原词对应的子词标签合并（常用策略：取第一个子词的标签、对所有子词标签投票、取概率最高的标签）。

示例代码片段：

# 输入文本token化，记录词ID映射
encoding = tokenizer(texts, return_word_ids=True, truncation=True, padding=True)
word_ids = encoding.word_ids()

# 模型预测
outputs = token_classification_model(**encoding.to(device))
predictions = torch.argmax(outputs.logits, dim=-1)

# 映射回词级标签
word_predictions = []
current_word = None
for idx, word_id in enumerate(word_ids):
    if word_id != current_word:
        current_word = word_id
        if word_id is not None:  # 跳过[CLS]、[SEP]等特殊Token
            word_predictions.append(predictions[idx].item())

内容的提问来源于stack exchange，提问作者Penguin