如何利用LangChain的OpenAI LLM包装器调用本地兼容OpenAI API的模型

完全可以直接用LangChain的原生OpenAI包装器对接你的本地模型，不需要编写独立客户端——核心就是利用OpenAI SDK支持自定义base_url的特性，而LangChain的OpenAI/ChatOpenAI类已经封装了这个能力，刚好匹配你的需求。

具体操作步骤 #

1. 安装必要依赖
   确保安装LangChain和OpenAI SDK：
   pip install langchain openai

2. 初始化包装器并调用
   根据你的本地模型类型（文本补全/对话型），直接初始化对应的LangChain类，指定本地API地址和必要参数即可：

文本补全模型示例 #

from langchain.llms import OpenAI

local_llm = OpenAI(
    base_url="http://localhost:你的端口号/v1",
    api_key="任意非空字符串",  # 本地模型通常不需要真实密钥，填"dummy_key"即可
    model_name="你的本地模型标识"  # 可选，部分模型要求指定
)

# 执行推理
result = local_llm.predict("请解释一下大语言模型的微调原理")
print(result)

对话型模型示例 #

如果你的本地模型适配OpenAI的对话接口（/v1/chat/completions），用ChatOpenAI类：

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

local_chat_llm = ChatOpenAI(
    base_url="http://localhost:你的端口号/v1",
    api_key="dummy_key",
    model_name="你的本地对话模型标识"
)

# 执行对话推理
response = local_chat_llm([HumanMessage(content="请推荐几个LangChain的实用工具")])
print(response.content)

3. 额外配置说明

• 若本地模型有自定义参数，可通过model_kwargs传入，比如调整采样策略：

local_llm = OpenAI(
    base_url="http://localhost:你的端口号/v1",
    api_key="dummy_key",
    model_kwargs={"top_p": 0.85, "frequency_penalty": 0.2}
)

• 务必保证本地API的端点、参数格式完全匹配OpenAI规范，比如文本补全对应/v1/completions，对话对应/v1/chat/completions，参数名称（prompt/messages、temperature等）也需一致，这样才能无缝兼容。

不需要使用第三方adapter，LangChain原生的OpenAI包装器已经满足需求，你只需要确保本地API符合OpenAI schema，就能直接复用LangChain的所有组件（比如链、记忆、工具调用等），完全避免冗余代码。

内容的提问来源于stack exchange，提问作者Pranjal Doshi