加载Hugging Face parrot_paraphraser_on_T5模型时Token缺失错误解决

以下是几种可行的解决方法：

• 直接在代码中传入Token
  初始化Parrot实例时，直接添加token参数，传入你的Hugging Face访问令牌：

  from parrot import Parrot
  import torch
  import warnings
  warnings.filterwarnings("ignore")
  
  # 替换为你的Hugging Face Token
  HF_ACCESS_TOKEN = "你的令牌内容"
  parrot = Parrot(model_tag="prithivida/parrot_paraphraser_on_T5", use_gpu=False, token=HF_ACCESS_TOKEN)
  

• 通过环境变量配置Token
  无需修改代码，在终端设置环境变量让Hugging Face Hub自动读取：

  • Linux/macOS终端：

    export HUGGING_FACE_HUB_TOKEN="你的Hugging Face Token"
    

  • Windows命令提示符：

    set HUGGING_FACE_HUB_TOKEN=你的Hugging Face Token
    

  • Windows PowerShell：

    $env:HUGGING_FACE_HUB_TOKEN="你的Hugging Face Token"
    

  设置完成后再运行原代码即可。

• 修正parrot.py源码的参数传递
  如果你之前修改过parrot.py但仍报错，检查以下两点：

  1. 确保Parrot类的__init__方法定义中包含token参数，比如：

     def __init__(self, model_tag="prithivida/parrot_paraphraser_on_T5", use_gpu=True, token=None):
     

  2. 找到模型和Tokenizer加载的代码，确保将token参数传递给from_pretrained方法：

     self.model = T5ForConditionalGeneration.from_pretrained(model_tag, token=token)
     self.tokenizer = T5Tokenizer.from_pretrained(model_tag, token=token)
     

  修改后保存文件，重新运行代码。

内容的提问来源于stack exchange，提问作者Chinmay Nayak