如何从本地模型文件启动LangChain4J本地模型服务器？

一、启动本地模型服务器（以LocalAI为例） #

1. 准备本地模型文件 #

下载目标模型的量化文件（如Llama 2系列的llama-2-7b-chat.ggmlv3.q4_0.bin），将其放置在本地目录（如./models）。

2. 启动LocalAI服务器 #

使用Docker快速启动服务器，执行以下命令（替换模型路径和名称为你的实际配置）：

docker run -p 8080:8080 \
  -v ./models:/models \
  -e MODEL_PATH=/models/llama-2-7b-chat.ggmlv3.q4_0.bin \
  -e MODEL_NAME=lunademo \
  localai/localai:latest

• -p 8080:8080：映射端口，与LangChain4J连接代码中的baseUrl端口保持一致
• MODEL_NAME：需与连接代码中的modelName参数完全匹配
• MODEL_PATH：本地模型文件在容器内的映射路径

3. 验证服务器状态 #

访问http://localhost:8080/v1/models，若返回包含指定模型名称的列表，说明服务器启动成功。

二、LangChain4J 连接本地服务器代码 #

以下是你提供的连接代码，已整理为标准格式：

import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.localai.LocalAiChatModel;

public class HowAreYou {

    public static void main(String[] args) {
        ChatLanguageModel model = LocalAiChatModel.builder()
                .baseUrl("http://localhost:8080")
                .modelName("lunademo")
                .temperature(0.9)
                .build();

        String answer = model.generate("How are you?");
        System.out.println(answer);
    }
}

依赖配置 #

确保项目中引入LangChain4J的LocalAI模块，Maven依赖示例：

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-local-ai</artifactId>
    <version>0.32.0</version> <!-- 建议使用最新稳定版本 -->
</dependency>

内容的提问来源于stack exchange，提问作者Carla