自定义推理接入点是用户自主创建的模型调用入口,支持精调模型接入、权限控制、算力保障等高级功能。本文介绍如何创建自定义推理接入点并获取Endpoint ID。
在获取 Endpoint ID后,您可以参考 模型能力 的模型代码示例,通过对model
字段赋值 Endpoint ID (推理接入点ID)的方式来发起调用。
import os from volcenginesdkarkruntime import Ark # 从环境变量中读取您的方舟API Key client = Ark(api_key=os.environ.get("<YOUR_API_KEY>")) completion = client.chat.completions.create( # 将 <Model> 替换为 Endpoint ID(或者Model ID) model="<Model>", messages=[ {"role": "user", "content": "你好"} ] ) print(completion.choices[0].message)