使用Langchain+CodeLlama通过LLMChain生成时重复输出换行符求助

1. 对齐CodeLlama-Instruct的Prompt格式 #

CodeLlama-34B-Instruct要求严格的指令标记格式，未遵循会导致模型无法正确解析任务。确保你的PromptTemplate包含模型指定的指令包裹标记：

from langchain import PromptTemplate

template = """<s>[INST] {question} [/INST]"""
prompt = PromptTemplate(template=template, input_variables=["question"])

如果涉及多轮对话，需补充完整的对话链格式：

template = """<s>[INST] 历史问题1 [/INST] 历史回答1 </s><s>[INST] {question} [/INST]"""

2. 检查LLMChain的生成参数配置 #

确认生成参数未限制模型输出内容：

• 确保max_tokens设置足够大（建议≥100），避免因输出长度限制仅生成换行
• 检查temperature是否设为0（极端值可能导致模型输出空内容），建议设为0.1~0.7
• 确认stop参数未错误包含换行符\n，否则模型会在生成第一个换行时停止
  示例配置：

from langchain.chains import LLMChain

chain = LLMChain(
    llm=llm,
    prompt=prompt,
    verbose=True,
    llm_kwargs={
        "max_tokens": 200,
        "temperature": 0.3,
        "stop": ["</s>"]  # 使用模型原生结束标记而非换行
    }
)

3. 验证LangChain中LlamaCpp的初始化参数 #

确保LangChain的LlamaCpp实例正确加载GPU资源并启用BLAS：

from langchain.llms import LlamaCpp

llm = LlamaCpp(
    model_path="./CodeLlama-34B-Instruct-GPTQ.gguf",
    n_gpu_layers=-1,  # 加载所有模型层到GPU
    n_ctx=4096,  # 匹配模型上下文窗口大小
    blas=True,  # 对应直接调用时的BLAS=1参数
    verbose=True
)

查看verbose日志，确认模型加载时输出"BLAS = 1"，且GPU层加载状态正常。

4. 简化测试案例定位问题 #

用最基础的LLMChain测试，排除复杂逻辑干扰：

simple_prompt = PromptTemplate(template="<s>[INST] 请解释Python是什么？ [/INST]", input_variables=[])
simple_chain = LLMChain(llm=llm, prompt=simple_prompt, verbose=True)
result = simple_chain.run({})
print(result)

如果此案例正常输出，说明原模板或输入变量存在问题；如果仍仅输出换行，需检查模型文件完整性或版本兼容问题。

5. 排查版本兼容性 #

• 升级LangChain到最新稳定版：pip install --upgrade langchain
• 重新编译LlamaCpp并确保其版本与LangChain的LlamaCpp集成组件兼容

内容的提问来源于stack exchange，提问作者benna121