如何在LangChain中使用自定义预训练小GPT模型构建问答应用

完全可行。LangChain的设计天然支持集成自定义大语言模型，不管是基于TensorFlow/Keras还是PyTorch训练的模型，只要封装成符合LangChain接口规范的类，就能无缝接入其问答链、检索增强生成（RAG）等模块，适配你的结构化PDF问答场景。

1. 封装自定义GPT模型为LangChain兼容类 #

LangChain提供了LLM基类，你需要继承这个类并实现_call和_identifying_params两个核心方法，把Keras模型的推理逻辑嵌入进去。

示例代码：

from langchain.llms.base import LLM
from typing import Optional, List, Mapping, Any
import tensorflow as tf
from tensorflow import keras

class CustomKerasGPT(LLM):
    # 初始化模型和分词器
    model: keras.Model
    tokenizer: Any  # 替换为你实际使用的分词器（如GPT2Tokenizer）

    @property
    def _identifying_params(self) -> Mapping[str, Any]:
        # 返回模型标识参数，用于日志和序列化
        return {"model_type": "custom_keras_gpt"}

    @property
    def _llm_type(self) -> str:
        return "custom_keras_gpt"

    def _call(
        self,
        prompt: str,
        stop: Optional[List[str]] = None,
        run_manager: Optional[Any] = None,
        **kwargs: Any,
    ) -> str:
        # 实现模型推理逻辑
        inputs = self.tokenizer(prompt, return_tensors="tf")
        outputs = self.model.generate(
            **inputs,
            max_new_tokens=100,  # 根据需求调整生成长度
            temperature=0.7,
            stop=stop
        )
        response = self.tokenizer.decode(outputs[0], skip_special_tokens=True)
        # 截断到stop标识之前的内容（如果有）
        if stop:
            for stop_seq in stop:
                if stop_seq in response:
                    response = response[:response.index(stop_seq)]
        return response.strip()

2. 加载训练好的模型和分词器 #

将你之前训练完成的Keras模型和对应的分词器加载进来，实例化自定义LLM类：

# 加载模型
model = keras.models.load_model("path/to/your/trained_gpt_model")
# 加载分词器（以HuggingFace的GPT2Tokenizer为例）
from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
# 若训练时自定义了词汇表，加载本地词汇表：
# tokenizer = GPT2Tokenizer.from_pretrained("path/to/your/custom_vocab")

# 实例化自定义LLM
custom_llm = CustomKerasGPT(model=model, tokenizer=tokenizer)

3. 构建基础问答应用 #

如果你的模型已经在训练阶段融入了PDF的结构化信息，可以直接用LangChain的LLMChain构建简单问答流程：

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# 定义问答提示模板
prompt = PromptTemplate(
    input_variables=["question"],
    template="基于提供的结构化PDF内容，回答以下问题：{question}"
)

# 创建问答链
qa_chain = LLMChain(llm=custom_llm, prompt=prompt)

# 测试问答
response = qa_chain.run("请解释PDF中关于XX模块的核心规则？")
print(response)

4. 进阶：用RAG优化大PDF问答效果 #

如果PDF内容体量较大，模型直接记忆所有信息有难度，建议采用检索增强生成（RAG）架构，先从PDF中检索相关片段再喂给模型生成回答：

4.1 处理PDF文档，构建检索库 #

from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain.embeddings import TensorFlowHubEmbeddings

# 加载PDF
loader = PyPDFLoader("path/to/your/large_structured.pdf")
documents = loader.load()

# 分割文档为适配检索的小块
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", " ", ""]
)
split_docs = text_splitter.split_documents(documents)

# 构建向量检索库（使用TensorFlow兼容的嵌入模型）
embeddings = TensorFlowHubEmbeddings(model_url="https://tfhub.dev/google/universal-sentence-encoder/4")
vector_store = FAISS.from_documents(split_docs, embeddings)
retriever = vector_store.as_retriever(search_kwargs={"k": 3})

4.2 构建RAG问答链 #

from langchain.chains import RetrievalQA

# 创建RAG问答链
qa_rag_chain = RetrievalQA.from_chain_type(
    llm=custom_llm,
    chain_type="stuff",  # 可选：stuff、map_reduce、refine等模式
    retriever=retriever,
    return_source_documents=True  # 可选：返回检索到的原文片段
)

# 测试RAG问答
result = qa_rag_chain({"query": "PDF中XX流程的具体步骤是什么？"})
print("回答：", result["result"])
print("参考来源：", [doc.page_content[:100] + "..." for doc in result["source_documents"]])

5. 关键注意事项 #

• 确保Keras模型的生成逻辑支持stop参数，避免生成无关冗余内容；
• 若模型推理速度慢，可考虑将模型导出为TensorFlow Lite或ONNX格式优化；
• 结构化PDF的特殊字段（如表格、层级标题）可在文档分割时单独处理，提升检索准确性；
• 由于你的模型是Decoder-only架构（类似GPT），在RAG的prompt中要明确告知模型基于检索到的片段生成回答。

内容的提问来源于stack exchange，提问作者Saverio Mirko Viola