Vertex AI部署Llama 3 70B Chat后，模型未按指令响应的参数排查

核心问题是提示格式不符合Llama 3 Chat的对话规范，同时需确认部分请求参数的配置：

1. 必须使用Llama 3 Chat的标准对话格式 #

Llama 3系列对话模型依赖特定分隔符识别用户指令，你的原始提示未遵循该格式，导致模型将其视为普通文本补全任务而非指令任务。正确格式如下：

<|begin_of_text|>
<|user|>
Classify the below as fruit or vegetable:

Examples:
Apple - fruit
Spinach - vegetable

Classify these:
Brinjal
Orange
Lettuce
Corn
<|end_of_text|>
<|assistant|>

若需明确模型角色，可添加系统提示提升准确性：

<|begin_of_text|>
<|system|>
你是专业分类助手，严格按照示例格式将物品分类为水果或蔬菜，仅输出「物品 - 类别」形式的结果。
<|end_of_text|>
<|user|>
Classify the below as fruit or vegetable:

Examples:
Apple - fruit
Spinach - vegetable

Classify these:
Brinjal
Orange
Lettuce
Corn
<|end_of_text|>
<|assistant|>

2. 检查请求参数配置 #

• 在Vertex AI的请求中添加use_chat_template: true，该参数会自动应用Llama 3的对话模板，避免手动格式错误
• 你当前的temperature: 0、max_tokens: 1024、stop_token_ids: [128009]（对应<|eot_id|>结束符）配置合理，无需调整，但需确认部署时未禁用对话模式。

调整后模型会正确识别指令，输出符合要求的分类结果，而非无关的补全内容。

内容的提问来源于stack exchange，提问作者chaooder