当前系统概况 #

• 业务场景：面向俄语电话对话的本地语音分析/呼叫质量监控
• 现有流程：
  • 基于Whisper large-v3完成语音转文本（ASR）
  • 说话人分轨处理
  • 大语言模型驱动的checklist合规评估
  • 全本地推理（无任何云API调用）
• 硬件配置：RTX 6000 Ada（48GB显存）
• 当前使用模型：DeepSeek-R1-Distill-Qwen-32B（4位量化版）

核心任务要求 #

模型必须具备以下能力：

• 分析带噪声的电话ASR转录文本
• 严格遵循业务checklist规则执行评估
• 支持多步骤逻辑推理
• 处理时序类判断（如「客户是否在客服询问前主动提供姓名」）
• 精准检测对话中的checklist违规情况
• 输出确定性JSON格式结果

示例checklist评估项：

• 客服是否正确完成自我介绍？
• 客服是否询问了客户姓名？
• 客服后续是否以姓名称呼客户？
• 所有问题是否包含礼貌过渡语？
• 客服是否明确说明下一步操作？

现存问题与已做优化 #

• 核心问题：推理一致性不足，相似对话场景下可能出现不同评估结果
• 已完成的优化动作：
  • 转录文本格式标准化优化
  • 提示词逻辑与结构优化
  • ASR文本降噪与规范化处理
  • checklist拆解为细粒度评估项

选型决策分析与模型推荐 #

选型方向判断 #

1. 继续使用DeepSeek-R1-Distill-Qwen-32B
   若当前模型仅在少数边缘场景出现一致性问题，可尝试通过固定推理种子、固化结构化提示词模板、增加精准few-shot示例等方式进一步优化；但如果核心的时序推理、规则遵循一致性仍无法达标，建议更换模型。

2. 切换至70B参数模型
   70B级模型在复杂推理、规则遵循的稳定性上普遍优于32B级，4位量化后的70B模型显存占用约35-40GB，可适配RTX 6000 Ada的48GB显存（需预留系统及其他进程空间），但需优先选择俄语支持良好、聚焦推理的型号。

3. 更换为聚焦推理的本地模型
   优先选择针对结构化推理、规则匹配优化，且原生支持俄语的模型，以下是适配48GB显存的推荐：

   • Qwen2-72B-Instruct（4位量化）：多语言支持成熟，俄语处理能力优异，72B版本对结构化任务、规则遵循的一致性提升明显，4位量化后显存占用约36GB。
   • Llama 3 70B Instruct（4位量化）：对多语言（含俄语）的时序逻辑、规则匹配任务优化到位，推理一致性表现突出，4位量化后显存占用约35GB。
   • Mistral Large 2（4位量化）：聚焦推理效率与准确性，对JSON结构化输出支持友好，俄语本地化处理完善，4位量化70B级版本显存需求约38GB。

额外一致性优化建议 #

• 启用模型的固定随机种子参数，确保相同输入得到完全一致的输出
• 采用完全固化的结构化提示词模板，明确限定checklist项、对话文本、输出格式的边界，减少模型自由发挥空间
• 补充多组符合业务要求的few-shot示例，引导模型严格遵循评估规则

内容的提问来源于stack exchange，提问作者Bogdan Timofeev