Databricks Dolly LLM结合LangChain调用上下文时返回空结果排查

我在遵循HuggingFace上的Dolly模型教程（使用多个Dolly模型均出现相同问题），在Azure Databricks的GPU集群上运行时遇到以下问题：

• 常规问答功能正常，但结合上下文调用预测时，输出为空字符串
• 测试过不同Dolly模型和多种文本变体，问题依旧

相关代码：

context = """George Washington (February 22, 1732[b] – December 14, 1799) was an American military officer, statesman, and Founding Father who served as the first president of the United States from 1789 to 1797."""
llm_context_chain.predict(instruction="When was George Washington president?", context=context)
# 输出：''

可能的解决方向 #

1. 检查prompt模板格式
   Dolly模型对输入prompt的格式有严格要求，上下文问答的prompt需要符合模型预期的结构。比如Dolly的标准prompt格式通常包含### Instruction:, ### Context:, ### Response:这些标记，确保你的llm_context_chain使用的prompt模板正确拼接了这些部分，没有遗漏或格式错误。

2. 验证上下文输入的处理逻辑
   确认llm_context_chain是否正确处理了context参数，比如是否在构建prompt时将上下文内容正确插入到模板的对应位置，有没有出现上下文被截断、空值传递的情况。可以打印出最终生成的prompt内容，检查是否包含完整的上下文和指令。

3. 排查GPU环境的推理限制
   Azure Databricks的GPU集群可能存在显存限制或推理配置问题：

• 检查模型加载时的精度设置（比如是否使用了load_in_4bit或load_in_8bit），低精度模式下可能出现部分推理异常
• 确认上下文长度是否超过模型的最大上下文窗口，Dolly-v2-7b的最大上下文长度是2048 tokens，过长的上下文可能导致模型无法生成有效输出
• 查看GPU显存使用情况，避免显存不足导致的推理中断

4. 检查链的初始化配置
   确保llm_context_chain的初始化正确，比如是否正确绑定了LLM模型和prompt模板，有没有遗漏必要的参数。可以尝试手动构建prompt并直接调用模型的generate方法，验证模型本身是否能基于上下文生成回答，以此排除链的配置问题。

内容的提问来源于stack exchange，提问作者Nik