在使用大语言模型进行推理服务时,推理接入点(Endpoint)是模型调用的关键入口。开发者只需通过指定的 ID 即可向大模型发起 API / SDK 推理请求,实现快速接入与灵活调用。系统提供统一的 API 调用方式、调用监控、限流策略与安全保障机制,确保推理过程的稳定性与安全性。
ep-m-xxx
格式。ep-xxx
格式。ep-s-xxx
格式。类别 | 功能/特性 | 预置接入点 | 方舟推理接入点 | MLP 推理接入点 |
---|---|---|---|---|
在线推理 | API 调用 | 通过 Model ID 或 Endpoint ID 调用 | 通过 Endpoint ID 调用 | 通过 Endpoint ID 调用 |
支持模型 | 火山方舟基础模型 | 火山方舟基础模型和精调模型 | MLP 推理服务(仅支持大语言模型) | |
模型版本平滑切换 | × | √ | × | |
配置接入点限流 | √ | √ | √ | |
开启/停用接入点 | × | √ | √ | |
查看监控 | √ | √ | √ | |
安全审计(会话、传输加密) | √ | √ | × | |
细粒度权限管理 | × | √ | √ | |
算力保障(TPM 保障包、模型单元) | × | √ | × | |
应用实验室 | 零代码应用 | √ | √ | × |
高代码应用 | √ | √ | × | |
模型评测 | 模型评测 | × | √ | √ 不支持自定义推理参数 |
数据投递 | 数据投递 | × | √ | × |