如何调整Llama 3.1参数解决Node.js应用回答错误问题？

问题背景 #

本地运行Llama 3.1 8b模型时，在LM Studio中提问以下Scrum选择题能得到正确答案（The technical writer）：

If documentation is required as part of an Increment, who creates it?
O The Developers.
O The technical writer.
O The Scrum Master.
O The Product Owner.
O Documentation is not a part of an Increment.

但通过Node.js应用调用模型时，返回的是错误答案（如“Documentation is not a part of an Increment.”或“The Developers.”）。对比LM Studio的调用参数，仅max_tokens不同（LM Studio设为2048，Node.js设为100），其余参数一致。

调整方案 #

• 统一max_tokens参数：将Node.js代码中的max_tokens从100修改为2048。尽管目标答案简短，但模型需要足够的上下文窗口完成选项逻辑梳理，过小的token限制可能导致推理不充分或输出截断。
• 优化提示词约束：当前prompt仅传入问题，未明确限定回答范围。修改prompt，强制模型从给定选项中选择答案，示例：

  prompt: `请从以下选项中选择Scrum问题的正确答案：\n${result.data.text}\n仅输出选项对应的内容，无需额外解释`
  

• 降低温度参数：当前temperature=0.7会让模型输出随机性偏高，可将其调整至0.1-0.3区间，减少不确定性，引导模型输出更贴合事实的标准答案。
• 对齐输入字段格式：LM Studio使用inputs数组传递问题，而Node.js用的是prompt字段。确认API端点要求后，将Node.js的输入字段改为inputs: [result.data.text]，和LM Studio的请求格式保持一致。
• 关闭no_stop_token（可选）：若模型输出存在冗余内容，设置no_stop_token: false，让模型生成完答案后自动停止，避免多余推理干扰结果。

修改后的示例代码 #

try {
  console.log("Making request to LLaMA model:")
  const response = await axios.post(
    llamaEndpoint,
    {
      inputs: [result.data.text], // 对齐LM Studio的输入格式
      max_tokens: 2048, // 统一token上限
      temperature: 0.2, // 降低输出随机性
      top_k: 50,
      no_stop_token: false,
      output: {
        return_full_text: false,
      },
    },
    { headers }
  )
} catch (error) {
  console.error("Error calling LLaMA model:", error)
}

内容的提问来源于stack exchange，提问作者victor zadorozhnyy