Autogen对接LM Studio运行Llama3遇参数缺失错误求助

问题描述 #

我是Autogen新手，当前在LM Studio上运行meta-llama-3.1-8b-instruct模型，访问地址为http://127.0.0.1:1234/v1。我修改了Autogen官方入门示例的config_list以适配LM Studio，代码如下：

import autogen  
import os
import dotenv
from autogen import AssistantAgent, UserProxyAgent

config_list = [{
    "api_type": "open_ai",
    "api_base": "http://127.0.0.1:1234/v1",
    "api_key": "NULL"
}]

llm_config = {
    "request_timeout": 600,
    "seed": 42,
    "config_list": config_list,
    "temperature": 0
}

assistant = AssistantAgent("assistant", llm_config=llm_config)
user_proxy = UserProxyAgent("user_proxy", code_execution_config=False)

# Start the chat
user_proxy.initiate_chat(
    assistant,
    message="Tell me a joke about an egg and chicken.",
)

运行后出现如下错误：

TypeError: Missing required arguments; Expected either ('messages' and 'model') or ('messages', 'model' and 'stream') arguments to be given

请问是否遗漏了明显的配置项？

解决方案 #

你遗漏了model字段的配置，LM Studio的OpenAI兼容接口要求必须明确指定模型名称。修改config_list，添加对应模型的名称即可：

config_list = [{
    "api_type": "open_ai",
    "api_base": "http://127.0.0.1:1234/v1",
    "api_key": "NULL",
    "model": "meta-llama-3.1-8b-instruct"
}]

原因说明 #

Autogen对接OpenAI官方模型时，部分场景会默认填充model参数，但对接本地LM Studio模型时，必须手动指定该字段，且字段值要与你在LM Studio中加载的模型名称完全一致。缺少这个参数会导致API调用时触发必填参数缺失的错误。

内容的提问来源于stack exchange，提问作者Arindam