You need to enable JavaScript to run this app.
导航
获取 Endpoint ID(创建自定义推理接入点)
最近更新时间:2025.04.27 17:21:40首次发布时间:2023.06.27 23:50:08
我的收藏
有用
有用
无用
无用

自定义推理接入点是用户自主创建的模型调用入口,支持精调模型接入、权限控制、算力保障等高级功能。本文介绍如何创建自定义推理接入点并获取Endpoint ID。

创建自定义推理接入点

  1. 访问方舟控制台-在线推理
  2. 点击页面上方 账号全部资源 下拉箭头,切换需要创建推理接入点的项目空间。
  3. 切换到“自定义推理接入点”页签,单击 创建推理接入点 按钮,在打开的页面中选择推理接入点配置。
  4. 填写基本信息,并选择 模型广场模型仓库 中的模型进行接入。
    • 模型广场:模型为基础模型,需进一步选择模型版本。
    • 模型仓库:模型为精调模型(当前精调模型仅支持基于豆包系列模型)。

Image

  1. 接下来选择购买方式:可选按token付费、按 TPM 保障包付费按模型单元付费
  2. 打开 方舟控制台-在线推理 查看推理接入点 Endpoint ID。

Image

调用流程

获取 Endpoint ID后,您可以参考 模型能力 的模型代码示例,通过对model字段赋值 Endpoint ID (推理接入点ID)的方式来发起调用

import os
from volcenginesdkarkruntime import Ark
# 从环境变量中读取您的方舟API Key
client = Ark(api_key=os.environ.get("<YOUR_API_KEY>"))
completion = client.chat.completions.create(
    # 将 <Model> 替换为 Endpoint ID(或者Model ID)
    model="<Model>", 
    messages=[
        {"role": "user", "content": "你好"}
    ]
)
print(completion.choices[0].message)