调用HuggingFaceLLM遇TypeError：hf_token参数不被支持

报错原因很明确：HuggingFaceLLM的初始化方法不接受hf_token这个参数，需要把HF认证token传递给底层的模型加载逻辑，以下是两种可行的解决方法：

方法一：将token放入model_kwargs中 #

把hf_token的值以token键的形式加入model_kwargs字典，这个字典会被传递给transformers库的模型加载方法，那里支持token参数用于认证：

LLM = HuggingFaceLLM(
    context_window=4096,
    max_new_tokens=256,
    generate_kwargs={"temperature": 0.0, "do_sample": False},
    system_prompt=system_prompt,
    query_wrapper_prompt=query_wrapper_prompt,
    tokenizer_name="meta-llama/Llama-2-7b-chat-hf",
    model_name="meta-llama/Llama-2-7b-chat-hf",
    device_map="auto",
    model_kwargs={
        "torch_dtype": torch.float16, 
        "load_in_8bit": True,
        "token": os.getenv("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")
    }
)

方法二：提前完成Hugging Face登录认证 #

在初始化HuggingFaceLLM之前，调用huggingface_hub的login方法完成认证，后续加载模型时会自动使用已认证的token：

from huggingface_hub import login

# 完成登录认证
login(token=os.getenv("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"))

LLM = HuggingFaceLLM(
    context_window=4096,
    max_new_tokens=256,
    generate_kwargs={"temperature": 0.0, "do_sample": False},
    system_prompt=system_prompt,
    query_wrapper_prompt=query_wrapper_prompt,
    tokenizer_name="meta-llama/Llama-2-7b-chat-hf",
    model_name="meta-llama/Llama-2-7b-chat-hf",
    device_map="auto",
    model_kwargs={"torch_dtype": torch.float16 , "load_in_8bit":True}
)

内容的提问来源于stack exchange，提问作者Rithika Ashok