如何将Llama 2 GGUF量化模型与LangChain SQL数据库链结合使用？

直接使用llama_cpp库的Llama实例无法适配LangChain的BaseLanguageModel接口，需要改用LangChain封装的LlamaCpp类来初始化LLM。

修改后的代码 #

from langchain.utilities import SQLDatabase
from langchain.llms import LlamaCpp  # 改用LangChain封装的LlamaCpp
from langchain_experimental.sql import SQLDatabaseChain

# 用LangChain的LlamaCpp初始化LLM，参数按需调整
llm = LlamaCpp(
    model_path="./models/llama-2-7b-langchain-chat-Q8_0.gguf",
    n_ctx=2048,  # 上下文窗口大小，根据模型和需求调整
    temperature=0.1,  # 生成温度，越低输出越稳定
    max_tokens=512,  # 最大生成token数
    verbose=True  # 打印调试信息
)

# MySQL连接参数
mysql_config = {
    "host": "localhost",
    "user": "root",
    "password": "myPassword",
    "database": "myDB",
}

connection_string = f"mysql+mysqlconnector://{mysql_config['user']}:{mysql_config['password']}@{mysql_config['host']}/{mysql_config['database']}"

# 连接数据库
db = SQLDatabase.from_uri(connection_string)

# 创建SQL数据库链
db_chain = SQLDatabaseChain.from_llm(llm, db, verbose=True)
db_chain.run("How many employees are there?")

关键说明 #

• LangChain的LlamaCpp类是对原生llama_cpp.Llama的封装，实现了BaseLanguageModel接口，能直接用于LangChain的各类链组件。
• 初始化时的n_ctx参数建议匹配模型支持的最大上下文（比如Llama 2 7B默认支持4096），避免上下文截断影响结果。
• 可根据需求添加其他参数，比如n_threads设置线程数、stop定义生成停止词，进一步优化模型表现。

内容的提问来源于stack exchange，提问作者Dilip