使用Llama3的load_summarize_chain做map_reduce时中间步骤输出乱码求助

问题描述 #

使用4bit Q_K_M量化的8B版本Llama3执行摘要任务，基于Salesforce/dialogstudio数据集测试时，Map-Reduce模式返回完全无意义内容；但将文档裁剪至极短长度时摘要正常（推测此时未触发Map-Reduce逻辑），中等长度文档也会快速生成无效内容。确认模型本身可胜任此类任务，问题出在实现环节。

相关代码 #

文本分割与摘要链加载 #

textsplitter = CharacterTextSplitter()
docs = textsplitter.create_documents(conversation)
map_reduce_chain = load_summarize_chain(llm, chain_type="map_reduce", map_prompt=map_prompt, combine_prompt=combine_prompt, return_intermediate_steps=True)
map_reduce_outputs = map_reduce_chain({"input_documents":docs})

模型与提示模板定义 #

llm = LlamaCpp(model_path=model_path,
               n_ctx=8192,     # 控制上下文窗口
               max_tokens=256, # 控制输出长度
               temperature=0,
               top_p=0.5,
               echo=False,
               n_threads = 4,
               n_gpu_layers=-1, # GPU分层加载
               n_batch=8192      # 调整以提升速度
               )

combine_prompt_template = """
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are an accurate and concise writing assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Summarize the following chunks in an accurate and concise way:
{text}
FINAL SUMMARY:
<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""
map_prompt_template = """
<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are an accurate and concise writing assistant<|eot_id|><|start_header_id|>user<|end_header_id|>

Summarize the following conversation delimited by triple backticks:

```{text}```

SUMMARY:
<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""
combine_prompt = PromptTemplate(template=combine_prompt_template, input_variables=["text"])
map_prompt = PromptTemplate(template=map_prompt_template, input_variables=["text"])

排查建议 #

• 调整文本分割粒度：CharacterTextSplitter默认规则可能导致单块文本过长，手动设置chunk_size（如1000）和chunk_overlap（如200），确保单块文本在模型上下文窗口内且语义完整。
• 优化模型生成参数：temperature=0易导致生成僵化，微调至0.1-0.3；top_p=0.5限制过严，调整至0.8-0.9，提升生成合理性。
• 验证提示模板格式：Llama3 Instruct版本对格式要求严格，检查特殊token（<|begin_of_text|>、<|eot_id|>等）的完整性与位置，避免格式错误导致模型误解任务。
• 清洗输入文本：检查分割后的单块文本是否存在未替换的占位符（如{disfmarker}）或乱码，预处理去除干扰字符后再测试。
• 调整计算参数：n_batch=8192可能过大，尝试降低至1024或2048，避免内存/计算压力导致生成异常；确认n_ctx=8192足够覆盖单块文本+提示的总长度。
• 定位故障阶段：单独用map_prompt调用模型处理单块分割文本，验证map阶段是否正常，区分是map还是combine环节出问题。

内容的提问来源于stack exchange，提问作者LoBaGer