在Amazon SageMaker部署Llama-3 8B-Instruct时遭遇分词器不匹配错误

问题原因 #

HF Hub上的meta/llama-3-8B-Instruct checkpoint默认提供的是PreTrainedTokenizerFast类型分词器，但你的代码（或SageMaker HF工具链隐式调用）使用了旧的LlamaTokenizer类，导致类型不匹配警告。即使你没显式处理分词器，模型加载/部署过程中HF工具链会自动初始化分词器，触发这个问题。

解决方案 #

1. 显式加载匹配的分词器

直接用AutoTokenizer并指定use_fast=True（当前默认值，但显式指定更稳妥），确保加载的分词器类型与checkpoint一致：

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型和匹配的快速分词器
model = AutoModelForCausalLM.from_pretrained("meta/llama-3-8B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("meta/llama-3-8B-Instruct", use_fast=True)

2. SageMaker部署时指定分词器类

如果用SageMaker的HuggingFaceModel部署，在环境变量中显式指定分词器类，避免隐式调用旧类：

from sagemaker.huggingface import HuggingFaceModel

hub_config = {
    'HF_MODEL_ID': 'meta/llama-3-8B-Instruct',
    'HF_TASK': 'text-generation',
    'HF_TOKENIZER_CLASS': 'PreTrainedTokenizerFast'  # 指定匹配的分词器类
}

hf_model = HuggingFaceModel(
    env=hub_config,
    role=your_sagemaker_role,
    transformers_version="4.37",  # 建议用支持Llama-3的新版本
    pytorch_version="2.1",
    py_version="py310",
)

3. 忽略警告（不推荐）

如果确认不影响功能，可通过代码关闭该警告：

from transformers.utils import logging
logging.set_verbosity_error()

但不推荐，因为可能掩盖潜在的分词逻辑问题。

内容的提问来源于stack exchange，提问作者Ananth Raghuraman