自定义推理接入点(Endpoint)是用户自主创建的模型调用入口,支持精调模型接入、权限控制、算力保障等高级功能。本文介绍如何创建自定义推理接入点并获取 Endpoint ID。
说明
建议您打开 创建说明 开关,帮助您了解每个配置项的使用场景和含义,轻松完成接入点的创建配置。
创建成功后,可在 在线推理页面 查看并复制推理接入点 Endpoint ID。
您可在代码中通过配置 Endpoint ID (推理接入点ID)的方式来发起调用。
import os from volcenginesdkarkruntime import Ark client = Ark( api_key=os.environ.get("ARK_API_KEY"), # The base URL for model invocation base_url="https://ark.cn-beijing.volces.com/api/v3", ) completion = client.chat.completions.create( # Replace with your endpoint ID model="<ENDPOINT_ID>", messages=[ {"role": "user", "content": "Hello"} ] ) print(completion.choices[0].message)