You need to enable JavaScript to run this app.
导航
什么是推理接入点
最近更新时间:2025.06.13 17:31:58首次发布时间:2025.04.27 16:56:04
我的收藏
有用
有用
无用
无用

在使用大语言模型进行推理服务时,推理接入点(Endpoint)是模型调用的关键入口。开发者只需通过指定的 ID 即可向大模型发起 API / SDK 推理请求,实现快速接入与灵活调用。系统提供统一的 API 调用方式、调用监控、限流策略与安全保障机制,确保推理过程的稳定性与安全性。

推理接入点类型

  • 预置推理接入点:当用户凭借Model ID调用火山方舟模型时,系统会自动匹配对应模型的预置推理服务;若不存在,则自动创建。适合功能测试与轻量级使用场景。其 Endpoint ID 通常为 ep-m-xxx 格式。
  • 自定义推理接入点:由用户主动创建推理接入点,支持更全面的配置能力,适用于需要精调模型接入、权限控制、算力保障、数据回流等企业级或业务集成场景。
    根据接入模型服务的来源,自定义推理接入点分以下两类:
    • 方舟推理接入点:为火山方舟模型服务创建的推理接入点。其 Endpoint ID 通常为 ep-xxx 格式。
    • MLP 推理接入点:为 MLP 推理服务创建的推理接入点。其 Endpoint ID 通常为 ep-s-xxx 格式。

功能对比表

类别

功能/特性

预置接入点

方舟推理接入点

MLP 推理接入点

在线推理

API 调用

通过 Model ID 或 Endpoint ID 调用

通过 Endpoint ID 调用

通过 Endpoint ID 调用

支持模型

火山方舟基础模型

火山方舟基础模型和精调模型

MLP 推理服务(仅支持大语言模型)

模型版本平滑切换

×

×

配置接入点限流

开启/停用接入点

×

查看监控

安全审计(会话、传输加密)

×

细粒度权限管理

×

算力保障(TPM 保障包、模型单元)

×

×

应用实验室

零代码应用

×

高代码应用

×

模型评测

模型评测

×

√ 不支持自定义推理参数

数据投递

数据投递

×

×