针对本地Llama 3.1 8B输出无效JSON的解决方案 #

• 强化格式约束提示：在DeeEval的评估提示中明确要求严格输出JSON，比如添加：请仅输出符合要求的JSON格式内容，不得包含任何解释、注释或多余字符，示例：{"score": 4, "reason": "回答准确覆盖了问题核心信息"}，同时加入1-2个符合要求的few-shot示例，让模型明确格式标准。
• 添加解析容错逻辑：在评估脚本中增加JSON解析的容错处理，先用json.loads()尝试解析，失败时用正则表达式提取文本中的JSON块（比如匹配\{.*\}的内容），或者使用langchain.JSONOutputParser强制模型输出合规格式。
• 调整推理参数：将模型的temperature设为0.0-0.1，降低输出随机性；设置max_tokens限制输出长度，避免模型生成冗余内容；添加stop=["\n", "```"]等停止词，防止模型输出额外格式标记。
• 换用格式优化的微调模型：选用针对指令遵循和JSON输出微调的Llama 3.1衍生模型，这类模型在格式合规性上表现更稳定，能大幅减少无效输出。

针对Cerebra免费API限流的解决方案 #

• 添加请求节流机制：修改DeeEval的API调用逻辑，给每个请求添加1-2秒的延迟，或者用异步请求控制并发数（比如同时最多发送2个请求），避免短时间内触发频率限制。
• 减少单问题评估响应数：在DeeEval配置中把每个问题的评估响应生成数量从3-4个调整为1-2个，虽然会略微降低评估结果的稳定性，但能直接减少60%左右的API调用量，适配免费额度。
• 切换到Groq免费API：Groq的免费额度请求限制更宽松，且推理速度快，选用Mixtral 8x7B或Llama 3.1 70B等指令遵循能力强的模型，同时配合节流机制使用。
• 混合评估策略：将简单问题用本地模型完成评估，仅用API处理复杂问题；或者先用本地模型生成初步评分，再用少量API请求做结果校准，平衡成本和评估准确性。

内容的提问来源于stack exchange，提问作者Ricky Raj Sahani