Spring AI配置Llama3.2:1b却提示Mistral模型未找到问题

可能原因及对应解决办法 #

1. 配置项不匹配Spring AI版本 #

不同版本的Spring AI对Ollama的配置逻辑存在差异：

• 若使用Spring AI 2.0+版本，全局默认模型的配置键应为spring.ai.ollama.model，而spring.ai.ollama.chat.options.model仅作为聊天请求的局部参数，无法覆盖全局默认值（默认全局模型为mistral）。
• 修正配置：在application.properties中添加全局模型配置：

spring.ai.ollama.model=llama3.2:1b

完整修正后的配置示例：

spring.application.name=codeAI

spring.main.allow-bean-definition-overriding=true

spring.datasource.url=jdbc:postgresql://localhost:5432/postgres
spring.datasource.username=postgres
spring.datasource.password=1

spring.ai.vectorstore.pgvector.index-type=HNSW
spring.ai.vectorstore.pgvector.distance-type=COSINE_DISTANCE
spring.ai.vectorstore.pgvector.dimensions=1536

spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.model=llama3.2:1b
spring.ai.ollama.chat.options.temperature=0.7

2. ChatModel Bean配置异常 #

若代码中手动创建了OllamaChatModel实例，需确保配置参数正确加载：

• 避免手动创建Bean，优先使用Spring自动配置的OllamaChatModel；
• 若必须自定义Bean，需确保传入的OllamaChatOptions正确绑定配置中的模型值：

@Bean
public OllamaChatModel chatModel(OllamaChatOptions options) {
    options.setModel("llama3.2:1b");
    return new OllamaChatModel(options);
}

3. Prompt模板硬编码模型指定 #

检查控制器中prompt变量的内容，若模板中硬编码了mistral模型指令（如[INST]使用mistral模型回答...[/INST]），需移除该硬编码逻辑，改为依赖配置的模型。

4. 验证Ollama本地模型存在性 #

执行以下命令确认llama3.2:1b已拉取到本地：

ollama list

若未找到，执行拉取命令：

ollama pull llama3.2:1b

内容的提问来源于stack exchange，提问作者Rishabh Raghwendra