You need to enable JavaScript to run this app.
导航

查看并管理模型接入点

最近更新时间2023.12.15 19:41:45

首次发布时间2023.12.13 22:54:10

产品能力更新说明

模型接入是方舟模型服务的能力升级,支持用户调用模型广场上的模型与精调后的模型进行推理。相比原有模型服务,模型接入支持(1)灵活升级接入模型的版本 (2)支持模型接入的调用监控(即将上线),未来还会支持保障更高并发度、更灵活的推理需求。请点击模型接入进行使用。当前功能已通过白名单方式对外开放。

使用前提

「模型接入」列表中,存在1个及以上在线服务。

操作步骤

接入点列表页

  1. 登录火山方舟,单击左侧导航栏中的【模型接入】进入列表页。列表页展示了每个接入点的名称、状态、创建时间、管理员信息,也提供了「开启」、「关闭」、「删除」等快速操作入口。
    alt
  2. 支持按「创建时间」排序,支持按「接入点名称 」、「模型名称」等条件进行搜索。
  3. 为便于用户理解,对「状态」字段做特别说明:
参数名称参数说明

接入点状态

  • 调度中:后台资源正在调度中,可能处于排队状态也可能已经在资源启动中
  • 健康:接入点状态正常,可以正常调用。但当用户超过限流时依然会报错
  • 已停止:用户触发停止接入的操作
  • 异常:接入的模型异常,您可以提交工单后台将为您处理

服务详情页

  1. 点击具体接入点名称进入「接入点详情」页,这里除了基本信息外,还展示了「模型名称」、「Endpoint_ID」等信息。
  2. 点击右上角的「API调用」可看到python等语言的API调用示例。alt
  3. 点击右上角的「...」,可「编辑模型」、「编辑信息」、「删除」该服务。请注意,当前模型接入支持在相同模型基座的基础上调整不同的模型版本。