如何从文件加载RetrievalQA模型并进行预测？

核心步骤 #

1. 导入LangChain的链加载工具
2. 加载已保存的链文件
3. 调用链完成预测

代码实现 #

from langchain.chains import load_chain

# 指定已保存的链文件路径
model_path = "C:/users/devpa/documents/models/chain_model.yaml"

# 加载链
loaded_chain = load_chain(model_path)

# 执行基础预测（匹配保存时设置的input_key为'query'）
result = loaded_chain.run(query="你的问题内容")

# 若需获取源文档（保存时开启了return_source_documents=True），可通过以下方式
full_result = loaded_chain({"query": "你的问题内容"}, return_only_outputs=False)
print(full_result['result'])
print(full_result['source_documents'])

关键注意事项 #

• 确保当前Python环境与保存链时的环境一致，包括LangChain版本、LLM依赖库、向量数据库依赖库等，避免版本不兼容导致加载失败
• 若链依赖的LLM或Retriever需要API密钥、数据库连接信息等配置，需提前在当前环境中完成配置

内容的提问来源于stack exchange，提问作者user8234870