如何修改LangChain ChatOpenAI代码对接本地LiteLLM代理服务？

你只需要在两个ChatOpenAI实例化的代码中，添加两个关键参数即可对接本地LiteLLM服务器：

• 添加openai_api_base参数，值设为你的LiteLLM网关地址（注意要带上OpenAI兼容的v1路径，比如"http://localhost:3005/v1"）
• 如果LiteLLM服务不需要API密钥验证，补充openai_api_key参数为任意非空字符串（比如"dummy_key"，LangChain封装的类默认要求这个参数）

修改后的完整代码如下：

from langchain_openai import ChatOpenAI

def get_open_ai(temperature=0, model='gpt-4'):
    llm = ChatOpenAI(
        model=model,
        temperature=temperature,
        openai_api_base="http://localhost:3005/v1",
        openai_api_key="dummy_key"
    )
    return llm

def get_open_ai_json(temperature=0, model='gpt-4'):
    llm = ChatOpenAI(
        model=model,
        temperature=temperature,
        model_kwargs={"response_format": {"type": "json_object"}},
        openai_api_base="http://localhost:3005/v1",
        openai_api_key="dummy_key"
    )
    return llm

说明：

• openai_api_base的路径必须包含/v1，因为LiteLLM完全兼容OpenAI的API接口规范，接口路径需要对齐
• 如果你的LiteLLM服务配置了真实的API密钥验证，把openai_api_key换成对应的密钥即可

内容的提问来源于stack exchange，提问作者Qubix