部署Nous-Hermes-Llama2-70b后响应生成不完整的技术求助

是的，你需要在请求中添加生成配置参数，默认参数设置会限制生成长度或提前触发停止条件，导致响应截断。以下是关键参数配置方法：

核心参数说明 #

• max_new_tokens：控制模型生成的最大token数量，这是解决响应截断的核心参数，默认值通常较小（比如20），需手动调大。
• temperature：调节生成文本的随机性，值越高输出越多样，越低越严谨，一般设置在0.5-1.0之间，不直接影响生成长度，但能优化响应自然度。
• stop_sequences：指定模型停止生成的触发序列，适配Nous-Hermes-Llama2的指令格式，避免模型提前停止。

修改后的调用代码 #

import requests

API_URL = 'https://myendpoint.us-east-1.aws.endpoints.huggingface.cloud'
headers = {
  "Authorization": "Bearer mytoken1234",
  "Content-Type": "application/json"
}

def query(payload):
  response = requests.post(API_URL, headers=headers, json=payload)
  return response.json()
 
output = query({
  "inputs": "### Instruction:\r\nCome up with a joke about cats\r\n### Response:\r\n",
  "parameters": {
    "max_new_tokens": 200,  # 根据需求调整，比如设置为500生成更长内容
    "temperature": 0.7,
    "stop_sequences": ["###"]  # 匹配模型的指令分隔符，防止提前停止
  }
})

注意事项 #

• max_new_tokens的取值需根据实际需求和端点资源限制调整，过大可能导致请求超时或资源占用过高。
• 部分模型可能对stop_sequences的格式有特定要求，若仍出现截断，可尝试移除该参数或调整为模型适配的停止符。

内容的提问来源于stack exchange，提问作者Jimmison Johnson