则按 SSE 协议返回数据 false parameters.max_new_tokens integer 最多新生成 token 数(不包含 prompt 的 token 数目),和max_tokens一般二选一设置,[1, 8000] 2000(依赖模型默认配置) parameters.temperature number 采样温度,(0, 1.0] 1.0 parameters.top_p number 核采样,[0, 1.0] 1.0 parameters.top_k integer top-k-filtering 算法保留多少个 最高概率的词 作为候选,正整数。 0 parameters.stop list 用于指定模型在生...
则按 SSE 协议返回数据 false parameters.max_new_tokens integer 最多新生成 token 数(不包含 prompt 的 token 数目),和max_tokens一般二选一设置,[1, 2048] 2000(依赖模型默认配置) parameters.temperature number 采样温度,(0, 1.0] 1.0 parameters.top_p number 核采样,[0, 1.0] 1.0 parameters.top_k integer top-k-filtering 算法保留多少个 最高概率的词 作为候选,正整数。 0 parameters.stop list 用于指定模型在生...
则按 SSE 协议返回数据 false parameters.max_new_tokens integer 最多新生成 token 数(不包含 prompt 的 token 数目),和max_tokens一般二选一设置,[1, 2048] 2000(依赖模型默认配置) parameters.temperature number 采样温度,(0, 1.0] 1.0 parameters.top_p number 核采样,[0, 1.0] 1.0 parameters.top_k integer top-k-filtering 算法保留多少个 最高概率的词 作为候选,正整数。 0 parameters.stop list 用于指定模型在生...
prompt + max_new_tokens限制区间为[1, 8000] 不限制上限(但不能超过限制区间) parameters.temperature number 采样温度,[0, 1.0] 1.0 parameters.top_p number 核采样,[0, 1.0] 1.0 parameters.top_k integer top-k-filtering 算法保留多少个 最高概率的词 作为候选,正整数。 0 Output 字段 类型 描述 req_id string 请求 id choice object json { "message": { "role": "assistant", "content": "Learning ...
usage object json { "prompt_tokens": 18, "completion_tokens": 317, "total_tokens": 335}prompt_tokens:提示的 prompt token 数量 completion_tokens:生成的 token 数量 total_tokens:总的 token 数量 在 stream 模式下,只有最后一个输出 frame 才会记录 usage 内容 error(optioanl) object json { "code": "UnauthorizedCode", "code_n": 123456, "message": "You are not authorized"}code:...
usage object json { "prompt_tokens": 18, "completion_tokens": 317, "total_tokens": 335}prompt_tokens:提示的 prompt token 数量 completion_tokens:生成的 token 数量 total_tokens:总的 token 数量 在 stream 模式下,只有最后一个输出 frame 才会记录 usage 内容 error(optioanl) object json { "code": "UnauthorizedCode", "code_n": 123456, "message": "You are not authorized"}code:...
prompt + max_new_tokens限制区间为[1, 128000] 不限制上限(但不能超过限制区间) parameters.temperature number 采样温度,[0, 1.0] 1.0 parameters.top_p number 核采样,[0, 1.0] 1.0 parameters.top_k integer top-k-filtering 算法保留多少个 最高概率的词 作为候选,正整数。 0 Output 字段 类型 描述 req_id string 请求 id choice object json { "message": { "role": "assistant", "content": "Learnin...
usage object json { "prompt_tokens": 18, "completion_tokens": 317, "total_tokens": 335}prompt_tokens:提示的 prompt token 数量 completion_tokens:生成的 token 数量 total_tokens:总的 token 数量 在 stream 模式下,只有最后一个输出 frame 才会记录 usage 内容 error(optioanl) object json { "code": "UnauthorizedCode", "code_n": 123456, "message": "You are not authorized"}code:...
则按 SSE 协议返回数据 false parameters.max_new_tokens integer 最多新生成 token 数(不包含 prompt 的 token 数目),和max_tokens一般二选一设置[20, 4096] 256(依赖模型默认配置) parameters.repetition_penalty number 重复惩罚,[1.0, 2.0] 1.0 Output 字段 类型 描述 req_id string 请求 id choice object json { "message": { "role": "assistant", "content": "Learning Python can be a fun and...