使用LangChain+LlamaIndex调用HF嵌入模型时如何配置访问令牌？

直接在HuggingFaceEmbeddings的初始化参数中通过model_kwargs传入你的HF访问令牌即可，修改后的完整代码如下：

from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from llama_index import LangchainEmbedding, ServiceContext

# 替换为你的HuggingFace访问令牌
hf_access_token = "你的HF令牌内容"

embed_model = LangchainEmbedding(
    HuggingFaceEmbeddings(
        model_name="bert-base-multilingual-cased",
        model_kwargs={"token": hf_access_token}
    )
)
service_context = ServiceContext.from_defaults(embed_model=embed_model)

补充说明 #

• 该配置会让模型加载、资源请求过程自动带上令牌，符合HuggingFace官方的使用建议。
• 当你订阅HF Pro Plan后，这个令牌会自动关联你的账号权益，享受更高的API速率限制。
• 如果不想在代码中硬编码令牌，也可以通过设置环境变量HUGGINGFACEHUB_API_TOKEN来实现，相关库会自动读取该环境变量的值。

内容的提问来源于stack exchange，提问作者Ire00