使用Llama-index加载本地Embedding模型启动报错求助

以下是针对你遇到问题的几个排查和解决方向：

• 改用显式初始化HuggingFaceEmbedding类
  避免使用Settings.embed_model="local:./models/multilingual-e5-large/"的简写方式，直接实例化HuggingFaceEmbedding，明确指定模型参数：

  from llama_index.core import Settings
  from llama_index.embeddings.huggingface import HuggingFaceEmbedding
  
  Settings.embed_model = HuggingFaceEmbedding(
      model_name="./models/multilingual-e5-large/",
      model_kwargs={"device": "cpu"},  # 按需改为"cuda"或其他设备
      encode_kwargs={"normalize_embeddings": True}
  )
  

  multilingual-e5-large要求输出嵌入向量归一化，显式设置这个参数能避免潜在的加载或推理错误，同时直接初始化的方式比字符串简写更稳定，能减少配置解析问题。

• 验证本地模型文件完整性
  Llama-index的HuggingFaceEmbedding依赖transformers库直接加载模型，需要确保本地模型目录包含以下关键文件：

  • config.json
  • tokenizer_config.json
  • tokenizer.json
  • vocab.txt
  • pytorch_model.bin（或model.safetensors）
    虽然SentenceTransformer能加载，但它的文件结构处理逻辑和transformers有差异，确认所有transformers所需的文件都存在且未损坏。

• 排查工作目录差异
  Jupyter Notebook和应用启动时的当前工作目录可能不同，导致相对路径./models/multilingual-e5-large/无法正确指向模型。可以在应用启动代码中添加以下代码确认当前路径：

  import os
  print("当前工作目录:", os.getcwd())
  

  如果路径不符，改用模型的绝对路径（比如/home/user/models/multilingual-e5-large/）加载。

• 检查依赖兼容性
  Llama-index 0.12.17与transformers 4.49.0可能存在兼容性问题，你可以尝试将transformers版本降级到4.48.2（Llama-index 0.12.x官方推荐的兼容版本之一），重新安装后测试：

  pip install transformers==4.48.2
  

内容的提问来源于stack exchange，提问作者Carl Brendt