本文介绍了如何查看和管理模型在线推理接入点（后简称接入点），包括状态监控、API调用、指标告警及安全审计等功能操作。 > 预置推理接入点和自定义推理接入点的差异详情请查看[什么是推理接入点](https://www.volcengine.com/docs/82379/1544856)。 # 查看并管理接入点 1. [登录控制台](https://console.volcengine.com/ark/region:ark+cn-beijing)。 2. （可选）控制台左上方切换项目。 3. 单击左侧导航栏中的 **在线推理** 进入列表页。 4. 在线推理列表页，支持 **编辑** / **删除** / **停用** 推理接入点；查看接入点状态。在线推理接入点 **状态** 说明 |**参数名称** |**参数说明** | |---|---| |状态 |调度中：后台资源正在调度中，可能处于排队状态也可能已经在资源启动中。 | |^^|健康：接入点状态正常，可正常调用。|\ | |> 健康并不能表示接入点负载情况。调用超过限流，状态会显示健康，但是服务会返回错误。 | |^^|已停止：当用户触发停止接入操作，或者模型下线时，系统将关停相应的接入点。 | |^^|异常：接入的模型异常，您可提交工单后台将为您处理。 | # 查看接入点信息点击接入点名称进入接入点详情页，可查看模型推理接入点的**概览信息、API调用、监控、关联应用、安全审计**等信息。 ## 概览信息概览信息中可查看推理接入点的模型信息。 * 基本信息：接入模型、限流、创建人等信息。 * 计费信息：计费类型、输入输出价格。 * 关联的应用。 ## 版本切换目前，推理服务中的部分模型已支持在**同领域模型间跨卡片**进行版本切换。具体支持的模型请以控制台显示为准。无需新建并变更接入点，即可更换模型。 :::warning * 模型在**价格、限流策略、推理缓存行为以及接口参数**等方面可能存在差异，建议您在切换模型版本时充分了解并测试。 * 在版本切换过程中，缓存暂不可用，使用 Responses API 请求时将无法命中缓存，但会进行存储并产生缓存存储费用；版本切换完成后，可正常命中历史轮次的缓存。 * 版本切换前后的模型在内置工具的支持方面可能会存在差异。若切换后的模型未支持对应的工具调用，将触发报错。模型的支持情况参见[工具调用能力](/docs/82379/1330310#15a31773)。 ::: 版本切换耗时约 1 小时，过程中支持回滚，可按需逐步切回或一步回滚。 ## 监控基于[托管 Prometheus 服务](https://www.volcengine.com/docs/6731)（Volcengine Managed Service for Prometheus，简称VMP）为您提供接入点实时监控功能。 ### 开启监控具备 ArkStandardGlobalAccess 或 ArkFullAccess 权限的用户，点击**一键开启监控**按钮后，系统将自动开通监控服务并完成相关配置。由方舟采集的监控指标不会向客户收取费用，并且会保留近15天的数据。关于VMP的其他收费项目，请参考[收费详情](https://www.volcengine.com/docs/6731/447498)页面获取完整信息。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/41493c1b67e6451ca2c3469011591ad7~tplv-goo7wpa0wc-image.image =2506x) ### 监控详情页面开启监控后，在监控页面可查看当前推理接入点的监控指标，了解模型调用情况。 * 支持过滤当前接入点调用的 API 接口、模型名称、模型版本。 * 支持筛选查询的时间范围。 * 支持查看 Token 用量、性能、异常统计、推理缓存、TPM保障包等维度的监控指标。（不同领域的模型提供的监控指标不同，下图以深度思考模型举例。） ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/5c4d2ab8abdc4d0abfc52c001d9845cd~tplv-goo7wpa0wc-image.image =1598x) ### 指标告警配置 #### 前提条件 > 火山引擎授权操作指引请参考[策略概述](https://www.volcengine.com/docs/6257/65058)。如果子账号需要配置告警规则，需要有当前账号的 VMPFullAccess 权限。如果用户仅有 VMPReadOnlyAccess 权限，需要额外新增以下接口权限来配置告警： * VMP：CreateAlertingRuleGroup，通过告警模版创建告警规则组 * VMP：UpdateAlertingRuleGroup，更新告警规则组 * VMP：UpgradeAlertingRuleGroups，升级告警规则组到最新的告警模版 * VMP：DeleteAlertingRuleGroup，删除告警规则组 #### 配置监控指标告警可于方舟控制台推理接入点的监控页面一键配置监控指标告警，推荐使用针对当前接入点预填好参数的默认配置。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/95e99ff6d8b8486fbeef71da6c691f93~tplv-goo7wpa0wc-image.image =2408x) 如果需要根据业务进行合理配置，如避免针对同一接入点重复告警等告警泛滥情况，可前往托管Prometheus平台[查看告警规则](https://console.volcengine.com/prometheus/region:prometheus+cn-beijing/alert/rule?tab=group)。若有自定义配置需求，如自定义指标监控、配置自定义聚合策略等，可前往托管Prometheus平台[创建告警规则](https://console.volcengine.com/prometheus/region:prometheus+cn-beijing/alert/rule/edit)。若需针对联系人进行精确通知，可前往托管Prometheus平台[创建联系人](https://console.volcengine.com/prometheus/region:prometheus+cn-beijing/alert/notification?edit_type=notify_object&tab=notifyObject)并验证联系方式，目前支持使用邮件、电话、飞书、钉钉、企业微信等几种形式进行告警通知接收。不选择通知策略时，仍会生成告警事件，但不会向联系人发送告警通知，请前往托管 Prometheus 平台[查看告警事件](https://console.volcengine.com/prometheus/region:prometheus+cn-beijing/alert/alerting)。 ## 关联应用详情请参考[应用实验室](https://www.volcengine.com/docs/82379/1262002)文档。 ## 安全审计详情请参考[安全审计](https://www.volcengine.com/docs/82379/1400039)文档。

火山方舟