托管 Prometheus（VMP）服务具备良好的开源生态亲和性，支持云原生监控，并支持开源社区提供的各种 SDK、Exporter，可以实现对各种环境、中间件、自定义应用的监控需求。本文为您介绍如何采用不同的方式，将您的业务接入托管 Prometheus 服务。 ## 功能模块和业务流程当您的业务部署在火山引擎时，托管 Prometheus 为您提供完善且便捷的产品功能，帮助您快速完成业务接入。若您使用自建 IDC 或第三方云厂商环境，托管 Prometheus 也同样提供采集器部署脚本、网络连通等功能，帮助您以托管 Prometheus 为核心构建多云统一指标观测平台。常见的业务部署环境和接入步骤如下所示： * 从业务的部署环境划分，包括： * 部署在火山引擎。 * 部署在自建 IDC 或者第三方云厂商。 * 从业务接入步骤划分，包括： 1. 部署采集 Agent。 2. （可选）暴露指标。 3. 创建采集配置。 4. 查询和使用指标。托管 Prometheus 的主要功能模块和业务流程，如下图所示。针对业务接入场景，产品核心功能包括： * **VMP 工作区**：指标的主要存储单元，所有的指标发送和查询均需要明确对应的工作区。详情请参见 [工作区选择](https://www.volcengine.com/docs/6731/803296)，[工作区规格](https://www.volcengine.com/docs/6731/157877)。 * **Prometheus\-agent**：用于采集容器服务（VKE）集群或自建 Kubernetes 集群基础设施、业务指标的采集器，支持将采集到的指标发送至 VMP 工作区。 * **集成中心**：托管 Prometheus 提供的云产品接入中心，用于快速接入火山引擎云产品。详情请参见 [集成中心](https://www.volcengine.com/docs/6731/1184989)。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a6c0873949150165a6ccde297ca8e8ad.png =986x) ## 产品接入 ### 容器服务容器服务（VKE）集群是最常见的业务部署环境，将 VKE 集群接入托管 Prometheus 的步骤如下： 1. 部署采集 Agent：在集群中部署 Prometheus\-agent 组件，并绑定工作区。详情请参见 [容器服务接入](https://www.volcengine.com/docs/6731/805847)。 :::tip 使用 Prometheus\-agent 组件时，建议遵循如下操作： * 升级组件到最新版本。 * 开启自动扩缩容，避免后续规模增长导致 Agent 发生 OOM 等情况。 ::: 2. 暴露指标。根据需要，开启集群中不同资源的监控功能，暴露对应的指标。 |观测对象 |配置指导 | |---|---| |集群观测 |* 采集节点、工作负载、容器等 Kubernetes 资源指标，请参见 [容器服务观测](https://www.volcengine.com/docs/6460/148257)。|\ | |* 采集 APIServer 等控制面组件指标，请参见 [控制面服务观测](https://www.volcengine.com/docs/6460/1214007)。|\ | |* 采集 GPU、RDMA 等 AI 相关指标，请参见 [AI 资源观测](https://www.volcengine.com/docs/6460/1214011)、[监控容器服务中的 AI 训练任务](https://www.volcengine.com/docs/6731/1158673)。|\ | |* 采集其他高阶容器服务指标，请参考以下文档：|\ | | * [DNS 服务观测](https://www.volcengine.com/docs/6460/1214008)|\ | | * [Ingress 服务观测](https://www.volcengine.com/docs/6460/1214009)|\ | | * [CNI 网络观测](https://www.volcengine.com/docs/6460/1221485)|\ | | * [镜像加速观测](https://www.volcengine.com/docs/6460/1214010)|\ | | * [镜像仓库观测](https://www.volcengine.com/docs/6460/1223980)|\ | | * [CSI 存储观测](https://www.volcengine.com/docs/6460/1224025)|\ | | * [检查自愈观测](https://www.volcengine.com/docs/6460/1336077) | |业务观测 |对于部署在集群内的业务，您可以使用 Prometheus 社区中提供的 SDK，在应用开发时对业务的监控指标进行定义，然后通过托管 Prometheus 服务对应用内部的状态进行监控。例如：请求数，队列数等。也可以对一些核心逻辑的处理耗时进行监控，如请求外部服务的耗时情况等。|\ | ||\ | |* [自定义业务接入](https://www.volcengine.com/docs/6731/196838)|\ | |* [Golang 应用接入](https://www.volcengine.com/docs/6731/196836)|\ | ||\ | |同时，Prometheus 开源社区支持多种类型的开发语言 SDK，您可以选择相关的 SDK 进行业务埋点开发。详情请参见 [官方文档](https://prometheus.io/docs/instrumenting/clientlibs/)。 | |其他观测 |[Kafka 接入](https://www.volcengine.com/docs/6731/1580486) | |Exporter 观测 |* 如果自建中间件已经暴露了 Prometheus 格式指标，直接配置 [服务发现](https://www.volcengine.com/docs/6731/176835) 即可。|\ | |* 对于很多的传统应用、中间件、硬件和系统，Prometheus 开源社区提供多种类型的 Exporter，用于采集指标。详情请参见 [开源社区 Exporter 列表](https://prometheus.io/docs/instrumenting/exporters/)。配置方式请参考以下文档：|\ | | * [Nginx Exporter 接入](https://www.volcengine.com/docs/6731/336986)|\ | | * [Redis Exporter 接入](https://www.volcengine.com/docs/6731/189369)|\ | | * [MySQL Exporter 接入](https://www.volcengine.com/docs/6731/189370)|\ | | * [PostgreSQL Exporter 接入](https://www.volcengine.com/docs/6731/196661)|\ | | * [MongoDB Exporter 接入](https://www.volcengine.com/docs/6731/196659)|\ | | * [ElasticSearch Exporter 接入](https://www.volcengine.com/docs/6731/196660)|\ | | * [RabbitMQ Exporter 接入](https://www.volcengine.com/docs/6731/339087)|\ | |* 您也可以基于 Prometheus 提供的 Client Library 创建自定义的 Exporter。Promthues 社区官方提供了对 Go、Java、Python、Ruby 等语言的支持。详情请参见 [官方文档](https://prometheus.io/docs/instrumenting/writing_exporters/)。 | 3. 自定义采集配置：您可以在集群中自定义采集配置。详情请参见 [服务发现](https://www.volcengine.com/docs/6731/176835)、[如何在集群中创建 ServiceMonitor 等 CRD 资源](https://www.volcengine.com/docs/6731/651350)？ * ServiceMonitor：[通过 ServiceMonitor 配置服务发现](https://www.volcengine.com/docs/6460/444719) * PodMonitor：[通过 PodMonitor 配置服务发现](https://www.volcengine.com/docs/6460/736003) 4. 指标查询。 ### 云服务器云服务器（ECS）也是常用的业务部署环境，您可以在 ECS 环境中部署业务。托管 Prometheus 支持使用托管采集器方案，采集目标 ECS 上的基础资源数据和业务数据。云服务器支持通过 2 种方式接入托管 Prometheus，其主要区别如下表所示。 |接入方式 |接入说明 |方案特点 |配置指导 | |---|---|---|---| |云监控接入 |使用集成中心的云监控集成任务，从云监控获取 ECS 基础指标。 |配置简单，创建云监控集成任务时，云产品选择云服务器即可。但是由于存在云监控作为中间媒介，指标延迟相对较大。 |[云监控接入](https://www.volcengine.com/docs/6731/1149731) | |云服务器接入 |使用集成中心的云服务器集成任务，直接采集 ECS 上的指标：|* 与云监控集成任务相比，采集链路短，延迟相对较低。适用于对指标延迟较为敏感的场景。|* [云服务器接入](https://www.volcengine.com/docs/6731/1195154)|\ | ||* 支持直接采集 ECS 指标并发送至托管 Prometheus 工作区，但需要手工开启 ECS 中的指标接口，配置相对复杂。|* [监控 ECS 实例](https://www.volcengine.com/docs/6731/1223816)|\ | |* **基础指标**：允许使用 cloud\-monitor\-agent 或开源 node\-exporter 获取 ECS 的基础指标。|* 兼容开源 node\-exporter 提供的指标方式，支持自主部署 node\-exporter 到 ECS 云服务器上并采集指标。|* [监控 ECS 实例中的应用](https://www.volcengine.com/docs/6731/1220801) |\ | |* **业务指标**：支持获取部署在 ECS 上的自定义业务指标。 |* 除基础指标外，也支持采集部署在 ECS 中的业务指标。 | | ### 其他云产品如果您需要使用托管 Prometheus 监控火山引擎其他云产品，支持的采集方案如下： * **云监控接入**：对于已经接入云监控的云产品，支持通过将云监控接入托管 Prometheus，实现一站式、全链路的收集、存储，全面统一的监控管理体验。详情请参见 [云监控接入](https://www.volcengine.com/docs/6731/1149731)。 * **已接入 VMP 的云产品**：部分火山引擎云服务已经直接接入托管 Prometheus，只需绑定工作区即可。详情请参见 [其他云服务接入](https://www.volcengine.com/docs/6731/1276206)。 ### 自建 IDC/第三方云当您的业务部署在自建 IDC 机房或第三方云中时，也可以使用托管 Prometheus 实现基础资源和业务进行监控。接入步骤如下： 1. 网络打通：使用公网或专线连接的方式打通自建 IDC 、第三方云和火山引擎的网络，保证业务环境能够正常访问托管 Prometheus 工作区。详情请参见 [使用代理实现工作区公网访问](https://www.volcengine.com/docs/6731/1158700)、[使用专线连接和私网连接实现跨云工作区访问](https://www.volcengine.com/docs/6731/1283212)。 :::warning 由于公网访问存在网络链路长、可靠性差的问题，一般仅建议在初期验证的时候使用，避免使用在线上生产环境。 ::: 2. 部署采集 Agent：使用部署脚本，在自定义集群中部署 VM Agent 采集器。详情请参见 [监控自定义 Kubernetes 集群](https://www.volcengine.com/docs/6731/775509)。 :::tip 部署 VM Agent 采集器的步骤如下： * 获取脚本：[获取脚本](https://www.volcengine.com/docs/6731/173989)。 * 使用脚本：[脚本使用指南](https://www.volcengine.com/docs/6731/173990)。 * 部署：[部署 VM Agent](https://www.volcengine.com/docs/6731/165433)。 * 运维： * [管理 VM Agent](https://www.volcengine.com/docs/6731/165434)。 * [组件扩容](https://www.volcengine.com/docs/6731/176883)。 * [告警和运维建议](https://www.volcengine.com/docs/6731/176836)。 ::: 3. （可选）暴露指标。根据需要，暴露 Kubernetes 集群的基础指标和业务指标。 |观测项目 |配置指导 | |---|---| |集群基础观测 |* 使用脚本部署 VM Agent 采集器时，会默认安装 node\-exporter（节点指标）和 kube\-state\-metrics（Kubernetes 资源运行状态指标）。同时会默认采集 kubelet/kubelet\-cadvisor（容器运行统计指标）。因此，使用脚本部署了 Prometheus\-agent 后，将自动采集自定义 Kubernetes 集群的容器基础指标。|\ | |* 其他指标则需要根据实际的集群环境，自行部署 exporter，创建采集配置，详情请参见 [服务发现](https://www.volcengine.com/docs/6731/176835)。例如：如果您需要监控自定义集群里的 GPU，可参考 [监控自定义 Kubernetes 集群中的 GPU](https://www.volcengine.com/docs/6731/176831)。 | |业务观测&中间件观测 |配置方法和容器服务集群中的观测方式一致，请参见上文。 | 4. 采集配置。 ### 第三方云产品如果您的业务部署在第三方云的产品中，也可以使用托管 Prometheus 实现对云产品和业务的监控。例如：[监控腾讯云资源](https://www.volcengine.com/docs/6731/1415546)。 ## 指标查询 ### 查询方式托管 Prometheus 兼容开源 Prometheus 的查询语法，支持使用 [PromQL](https://www.volcengine.com/docs/6731/177123) 语句查询产品指标。查询方式包括： * 编写代码查询指标，参考 [使用 Go 语言实现工作区数据写入和查询](https://www.volcengine.com/docs/6731/1400366)。 * 使用托管 Promethesu 的 Explore 功能查询指标，参考 [指标查询](https://www.volcengine.com/docs/6731/195523)。 * 使用 Grafana 查询指标。 :::tip 您可以在容器服务集群、ECS 实例中部署自定义 Grafana，详情请参见 [在容器服务集群中部署 Grafana 并接入工作区](https://www.volcengine.com/docs/6731/126068)、[投递实例监控信息至托管 Prometheus 服务](https://www.volcengine.com/docs/6396/1208578)。 ::: ### 指标清单常见火山引擎产品的指标清单，如下表所示。 |产品名称 |指标清单 | |---|---| |容器服务 |* 基础指标：[容器服务基础指标](https://www.volcengine.com/docs/6731/1108212)|\ | |* 更详细的指标参考：|\ | | * [node-exporter 官方](https://github.com/prometheus/node_exporter)|\ | | * [kube-state-metrics 官方](https://github.com/kubernetes/kube-state-metrics/tree/main/docs)|\ | | * [cAdvisor 官方](https://github.com/google/cadvisor/blob/master/docs/storage/prometheus.md)|\ | | * [DCGM 官方](https://docs.nvidia.com/datacenter/cloud-native/gpu-telemetry/latest/index.html) | |云服务器 |请参见 [云服务器指标](https://www.volcengine.com/docs/6731/1185331)。 | |云监控 |请参见 [云监控指标指标查询](https://console.volcengine.com/cloud_monitor/docs)。|\ | |:::tip|\ | |当云监控接入托管 Prometheus 时，云监控中的指标写入工作区时增加`SubNamespace_Namespace` 后缀。指标的名称格式为`MetricName_SubNamespace_Namespace`，例如`CPUUser_Instance_VCM_ECS`。|\ | ||\ | |:::| |微服务引擎 |请参见 [微服务引擎指标](https://www.volcengine.com/docs/6731/1105928)。 | |API 网关 |请参见 [API 网关指标](https://www.volcengine.com/docs/6731/1170866)。 | ### 监控看板 1. 托管 Prometheus 为您提供常见产品的监控看板，包括： * 容器服务 Kubernetes 集群资源看板。 * 云产品预置看板，参考 [预置看板](https://www.volcengine.com/docs/6731/1169905)。 2. 使用 Grafana。您可以自主部署 Grafana，并构建监控看板。支持部署在容器服务 VKE，也可以部署在自建的 Kubernetes 集群。 * 部署：[在容器服务集群中部署 Grafana 并接入工作区](https://www.volcengine.com/docs/6731/126068)。 * 展示：[容器服务监控常用大盘](https://www.volcengine.com/docs/6731/1176155)。 ### 高阶使用 * 跨工作区查询：[创建聚合查询工作区](https://www.volcengine.com/docs/6731/1393098)。 * 跨 Region 查询：[使用云企业网和私网连接实现跨地域工作区访问](https://www.volcengine.com/docs/6731/1438474)。 ## 常见 FAQ ### **查询不到预期指标，如何排障？** 请参考 [无法正确查看到预期的指标?](https://www.volcengine.com/docs/6731/273352) ### **如何暴露指标？** Prometheus 一般使用定时拉取（Pull）指标接口的方式： * 如果服务本身引用了 Prometheus SDK，则可以自行开发并暴露 metrics 端口。 * 如果服务没有暴露，可使用 Exporter 调用服务本身的接口或数据获取原始指标，然后转换成 Prometheus 格式指标暴露 metrics 端口。 ### **如何采集指标？** 大部分场景下，托管 Prometheus 使用 Prometheus\-agent 组件进行指标的采集，并发送至指定的工作区。 ### **如何知道要采集哪些服务的哪些指标？** 原生 Prometheus 支持配置各种服务发现的 job，详情请参见 [官方文档](https://Prometheus.io/docs/Prometheus/latest/configuration/configuration/)。在 Kubernetes 集群中，一般会引入 Prometheus\-operator，使用 CRD 定义采集配置。详情请参见 [官方文档](https://Prometheus-operator.dev/docs/api-reference/api/)。常用的 CRD 包括： * ServiceMonitor * PodMonitor 除此之外，也支持使用 Service/Pod Annotation 的方式快速定义采集配置。详情请参见 [服务发现](https://www.volcengine.com/docs/6731/176835)。