基于Llama Index与本地Mistral搭建RAG应用时查询向量索引遇连接错误

• 本地Mistral服务未启动
  先确认本地Mistral模型的API服务是否已运行（比如用Ollama、text-generation-webui等工具部署）。默认情况下Ollama服务端口是11434，text-generation-webui的API端口是5000。可以用curl http://localhost:你的端口/v1/models测试连通性，不通的话先启动服务。

• 端点配置不匹配
  检查main.py和.env文件中的API地址配置：

  • 确保OPENAI_API_BASE指向本地服务地址，比如Ollama对应http://localhost:11434/v1，而非OpenAI官方地址。
  • 代码中初始化模型时，base_url参数要和本地服务地址完全一致，比如：

    from llama_index.llms.ollama import Ollama
    llm = Ollama(model="mistral", base_url="http://localhost:11434")
    

• 端口冲突或防火墙拦截

  • 用lsof -i :端口号（Mac/Linux）或netstat -ano | findstr 端口号（Windows）检查端口是否被其他程序占用，若占用则更换端口重启服务。
  • 暂时关闭本地防火墙，或给模型服务的端口添加放行规则，避免请求被拦截。

• 模型名称配置错误
  确认代码中指定的模型名称和本地部署的Mistral模型标签一致，比如Ollama拉取的模型默认是mistral，不要写错成其他名称。

内容的提问来源于stack exchange，提问作者Richard Broussard