从QlikSense连接Llama3模型API时出现404 NotFoundError求助

• 确认本地API服务状态
  先检查http://localhost:5000对应的Llama3 API服务是否启动。可以用浏览器访问该地址，或者执行命令curl http://localhost:5000测试连通性。如果无响应，说明服务未启动，需要先启动对应的部署工具（如Ollama、text-generation-webui等）。

• 核对API端点路径
  不同部署工具的API路径存在差异：

  • 若使用Ollama，正确的聊天接口是http://localhost:11434/api/chat，而非/v1/chat/completions
  • 若使用text-generation-webui的OpenAI兼容模式，需确认已开启该模式，且端点确实为/v1/chat/completions，同时检查服务端口是否为5000（部分工具默认端口并非5000）

• 调整请求体格式
  当前请求体中的mode和instruction_template参数可能不被目标API支持。可先简化请求体测试，示例如下：

  {
      "messages": [
        {
          "role": "user",
          "content": "Hello! My name is Dumbo. What is my name?"
        }
      ],
      "model": "llama3"
  }
  

• 检查网络访问权限
  若QlikSense部署在服务器上，localhost指向服务器本身，而非你的本地机器。此时需将URL替换为本地机器的局域网IP（如http://192.168.x.x:5000/v1/chat/completions），同时确保防火墙允许该端口的跨设备访问。

内容的提问来源于stack exchange，提问作者user19691076