如何将Hugging Face预训练模型在本地用于自有数据？路径含义解析

path_to_saved_model #

• 代表你本地存储预训练模型文件的文件夹路径。模型文件通常包含权重文件（如pytorch_model.bin）、配置文件（config.json）等核心文件。
• 你需要先将目标仓库中的模型相关文件下载到本地，然后填写该文件夹的绝对路径或相对路径即可。

path_to_tokenizer #

• 指本地存储分词器配套文件的文件夹路径。分词器文件一般包括词汇表（vocab.txt）、分词器配置（tokenizer_config.json）等。
• 绝大多数情况下，分词器文件会和模型文件放在同一个文件夹中，因此这个路径可以直接和path_to_saved_model保持一致。

示例代码 #

假设你把下载好的模型与分词器文件都放在本地./local-logical-fallacy文件夹下，代码可修改为：

import transformers
from transformers import AutoTokenizer, AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('./local-logical-fallacy', num_labels=3)
tokenizer = AutoTokenizer.from_pretrained('./local-logical-fallacy', do_lower_case=True)

内容的提问来源于stack exchange，提问作者Michael