在SQL Chain中使用开源LLM遇序列化错误，求解决方案及示例

可以在SQL Chain中使用开源LLM模型，你遇到的ValidationError是因为直接传入了原生transformers模型实例，而SQLDatabaseChain要求的是LangChain框架封装后的LLM类对象，两者类型不匹配导致验证失败。

错误原因 #

SQLDatabaseChain的llm参数需要接收LangChain定义的LLM接口实现类（如HuggingFacePipeline），而非transformers库中的BartForConditionalGeneration这类原生模型对象，直接传入会触发pydantic的类型校验错误。

示例代码 #

1. 使用Tapex模型的实现 #

from langchain import SQLDatabaseChain
from langchain.llms import HuggingFacePipeline
from transformers import TapexTokenizer, BartForConditionalGeneration, pipeline

# 加载Tapex模型与分词器
tokenizer = TapexTokenizer.from_pretrained("microsoft/tapex-base-finetuned-wtq")
model = BartForConditionalGeneration.from_pretrained("microsoft/tapex-base-finetuned-wtq")

# 创建transformers文本生成pipeline
text_gen_pipeline = pipeline(
    task="text2text-generation",
    model=model,
    tokenizer=tokenizer,
    max_length=512,
    temperature=0.0  # 固定温度保证结果确定性
)

# 封装为LangChain兼容的LLM对象
llm = HuggingFacePipeline(pipeline=text_gen_pipeline)

# 初始化SQLDatabaseChain并执行查询
chain = SQLDatabaseChain(llm=llm, database=db, verbose=True)
chain.run("你的查询内容")

2. 使用Flan-T5模型的实现 #

from langchain import SQLDatabaseChain
from langchain.llms import HuggingFacePipeline
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

# 加载Flan-T5模型与分词器
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-base")
model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-base")

# 创建文本生成pipeline
text_gen_pipeline = pipeline(
    task="text2text-generation",
    model=model,
    tokenizer=tokenizer,
    max_length=512,
    temperature=0.0
)

# 封装为LangChain LLM
llm = HuggingFacePipeline(pipeline=text_gen_pipeline)

# 运行SQL查询链
chain = SQLDatabaseChain(llm=llm, database=db, verbose=True)
chain.run("你的查询内容")

注意事项 #

• 需确保已安装依赖：langchain、transformers、torch、pydantic等必要库。
• 根据模型的任务类型调整pipeline的task参数，Tapex和Flan-T5均属于text2text-generation任务。
• 可根据需求调整max_length、temperature等生成参数，平衡结果长度与随机性。

内容的提问来源于stack exchange，提问作者Shane