解决LlamaCpp调用Llama-2时prefix-match hit导致重复回答的方法

调整LlamaCpp核心生成参数 #

• 设置重复惩罚系数抑制重复输出：通过repeat_penalty参数控制模型重复生成的概率，取值建议1.1-1.3，平衡抑制重复和回答流畅度。

  llm = LlamaCpp(
      model_path="llama-2-7b-chat.ggmlv3.q2_K.bin",
      repeat_penalty=1.2,
      temperature=0.7
  )
  

• 配置明确的停止标记：针对Llama-2 Chat模型，指定stop参数为模型预设的结束标记，确保生成到边界即停止，避免无续输出。

  llm = LlamaCpp(
      model_path="llama-2-7b-chat.ggmlv3.q2_K.bin",
      stop=["</s>", "Human:", "Assistant:"],
      max_tokens=256
  )
  

优化RetrievalQA的Prompt与链配置 #

• 使用适配Llama-2的聊天模板：构建符合模型训练格式的Prompt，明确区分用户问题和助手回答的边界，避免模糊的触发逻辑导致重复生成。

  from langchain.prompts import ChatPromptTemplate
  
  template = """
  <s>[INST] 基于以下上下文回答问题：
  {context}
  
  问题：{question} [/INST]
  """
  prompt = ChatPromptTemplate.from_template(template)
  qa_chain = RetrievalQA.from_chain_type(
      llm=llm,
      chain_type="stuff",
      retriever=retriever,
      chain_type_kwargs={"prompt": prompt}
  )
  

• 关闭不必要的重复触发逻辑：确保RetrievalQA链仅执行单次生成，检查代码中是否存在重复调用qa_chain({"query": "你的问题"})的情况，同时可设置return_source_documents=False减少额外处理环节。

针对性解决"prefix-match hit"重复触发 #

• 调整上下文窗口大小：通过n_ctx参数设置合适的上下文长度，避免因上下文溢出导致模型重复匹配前缀内容，建议值不小于prompt+预期回答的总token数。

  llm = LlamaCpp(
      model_path="llama-2-7b-chat.ggmlv3.q2_K.bin",
      n_ctx=2048,
      streaming=False
  )
  

内容的提问来源于stack exchange，提问作者Mayuresh Gawai