Mistral 7B Instruct集成LangChain工具时LLM输出解析错误问题

核心思路 #

Mistral 7B Instruct的输出格式大概率偏离了Langchain默认的工具调用格式，导致内置解析器无法识别。直接通过正则提取Observation字段的结果是可行的替代方案，不用依赖Langchain的自动解析逻辑。

具体实现步骤 #

• 捕获完整LLM输出
  先拿到工具调用后LLM返回的全部文本内容，示例代码：

  # 假设agent是已初始化的智能体，prompt为你的查询指令
  full_output = agent.run("计算半径为3的圆的面积")
  

• 用正则提取Observation结果
  根据你的工具输出格式编写匹配规则，比如输出格式如下：

  Thought: 需要调用圆周率计算器工具
  Action: calculate_circle_area
  Action Input: {"radius":3}
  Observation: 28.274333882308138
  

  对应的正则提取代码：

  import re
  
  # 匹配Observation字段后的内容，支持多行结果
  regex_pattern = r"Observation:\s*(.*?)(?=\n|$)"
  match_result = re.search(regex_pattern, full_output, re.DOTALL)
  if match_result:
      tool_result = match_result.group(1).strip()
      print("工具返回结果:", tool_result)
  else:
      print("未找到有效Observation内容")
  

• 替换原有解析逻辑
  把原来依赖Langchain自动解析结果的代码，替换成上述正则提取逻辑，直接使用tool_result作为最终的工具返回值。

额外优化建议 #

• 强制输出格式约束：在prompt中明确要求Mistral严格遵循指定格式输出，比如强制Observation字段单独成行、内容紧跟冒号，减少格式混乱概率。示例prompt片段：

  请严格按照以下格式输出，不得修改字段名称和格式：
  Thought: [你的思考内容]
  Action: [要调用的工具名称]
  Action Input: [工具输入参数，JSON格式]
  Observation: [工具返回的结果]

• 自定义输出解析器：如果正则无法覆盖复杂场景，可以自定义Langchain的BaseOutputParser子类，专门适配Mistral的输出格式，替换默认解析器。

内容的提问来源于stack exchange，提问作者tail_recursion