如何配置VS Code本地使用llama.cpp？解决‘语言模型不可用’报错

云原生阿岚

2026-6-4

解决VS Code连接本地llama.cpp提示“Language model unavailable”的问题

确认llama.cpp启动参数正确
必须在启动命令中加入--api参数，才能启用兼容OpenAI的接口服务。示例启动命令：
```
./main -m your-model.gguf --api --port 8080
```
没有--api参数的话，即使服务能访问，也无法提供VS Code所需的聊天补全接口。
修正配置文件中的url路径
你的配置里url只填了http://localhost:8080，但llama.cpp的OpenAI兼容接口在/v1子路径下。将url修改为http://localhost:8080/v1，或者完整的聊天补全端点http://localhost:8080/v1/chat/completions。
匹配模型ID与llama.cpp暴露的实际模型名
访问http://localhost:8080/v1/models，查看返回的模型ID（通常是你的模型文件名，比如your-model.gguf），将配置中models下的id字段修改为这个实际ID，确保完全一致。
重启VS Code或对应AI扩展
保存配置文件后，重启VS Code或者你正在使用的AI聊天扩展，让新配置生效。
测试API接口可用性
用curl发送测试请求验证服务是否正常响应：
```
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "你的实际模型ID",
    "messages": [{"role": "user", "content": "测试消息"}]
  }'
```
如果能返回正常的聊天响应，说明服务没问题，重新检查VS Code配置；如果请求失败，排查llama.cpp的启动参数或模型加载情况。