ServingKit 支持通过云原生基础观测和深度观测能力，自定义配置 AI 应用观测看板。基础观测提供 AI 资源及推理服务的监控指标，深度观测提供推理应用的全链路性能监控服务。本文以基于 SGLang 的 AI 应用为例，为您介绍自行实现 AI 应用观测看板的方法。 ## 基础观测 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在集群管理页面的左侧导航栏，选择 **集群**，并在集群列表中找到部署 AI 应用的异构计算集群，单击集群名称。 3. 在集群管理页面的左侧导航栏中，选择 **云原生观测** \> **概览**，单击 **立即启用**，开启云原生观测和容器服务观测。更多配置详情，请参见 [开启观测](https://www.volcengine.com/docs/6460/1213992)、[容器服务观测](https://www.volcengine.com/docs/6460/148257)。 4. 开启观测后，SGLang 的应用指标会被采集到托管 Prometheus（VMP）服务，您可以在托管 Prometheus 控制台中使用 Explore 查询指标，示例如下： ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_48ecbac19a9d922b57458adaa00a8dee.png =966x) * 您可以使用 VMP 预置面板查看 SGLang 应用监控，在 [VMP 服务控制台](https://console.volcengine.com/prometheus)，选择 **监控看板**，搜索`sglang`，可查看到如下示例所示的 SGLang 应用看板： ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_ee08ac4b96e555506273b350e2c3a30e.png =942x) * 您也可以自建 Grafana，并搭建 SGLang 的监控看板。操作方式请参见 [在容器服务集群中部署 Grafana 并接入工作区](https://www.volcengine.com/docs/6731/126068)。 1. 登录上述 Grafana ，选择导入如下看板 JSON 文件： 2. 导入后效果如图所示： ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_7817f01eac7e278f43ffc08f3dcd5da4.png =918x) ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6a40d0b078d252304401d12dc08fd843.png =918x) ## 深度观测 1. 登录 [应用性能监控全链路版控制台](https://console.volcengine.com/apmplus-server/region:apmplus-server+cn-beijing/console/overview/server?monitorType=server)，左侧导航栏选择 **服务端监控**。 2. 搜索以`sglang`为关键字的服务，单击服务名，进入观测看板页面。 3. 查看指标。 * LLM 指标。在 **服务总览**、**LLM性能**、**Token用量** 等页签，可查看大模型核心指标与服务黄金指标，例如：大模型调用次数、Token 使用量、响应耗时、TTFT、TPOT、QPS、请求错误率等。 :::tip TTFT、TPOT 指标需要流式调用才会产生相应指标。 ::: 流式调用示例如下： ```bash curl localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "/data/models/DeepSeek-R1", "messages": [ { "role": "user", "content": "hello" } ], "stream": true, "stream_options": { "include_usage": true, "continuous_usage_stats": true } }' ``` ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_181aa7ef54470e0452e6e1d2e72d48ce.png =942x) * 运行时指标在 **运行时监控** 页签，可查看运行时相关监控信息，例如：CPU 耗时、CPU 使用率、内存使用、GC 对象数量、线程数量、上下文切换数量等。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_26737b38bbaa52a66ce59b623ceb811a.png =942x) 4. 查看链路分析。从 SGLang 应用的 Trace 分析页签，可以根据不同条件检索链路信息。单击目标 Trace ID，前往单链路详情页面。在列表视图中查看 Trace 信息。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_dd8afde47f94da19691af48ab47d0850.png =966x)