Groq llama3-70b-8192不支持函数调用API,求解决办法
解决Groq Llama3-70b-8192不支持函数调用的问题
方案1:改用Groq支持函数调用的模型
Groq部分模型支持函数调用API,比如llama3-8b-8192或mixtral-8x7b-32768,替换模型名称即可:
node_parser = MarkdownElementNodeParser( llm=Groq(api_key=GROQ_API_KEY, model="llama3-8b-8192"), num_workers=8 )
方案2:禁用MarkdownElementNodeParser的函数调用功能
通过设置use_function_calling=False参数,让解析器切换为基于文本提示的解析模式,绕过函数调用API限制:
node_parser = MarkdownElementNodeParser( llm=Groq(api_key=GROQ_API_KEY, model="llama3-70b-8192"), num_workers=8, use_function_calling=False )
该参数会让解析器不再依赖LLM的函数调用能力,转而通过自然语言提示让模型直接处理Markdown元素解析,虽然解析效率可能略低于函数调用模式,但可以兼容不支持函数调用的模型。
内容的提问来源于stack exchange,提问作者Ernesto Flores
相关产品推荐
相关产品推荐

