You need to enable JavaScript to run this app.
导航

Kafka Exporter 接入

最近更新时间2024.03.01 11:23:08

首次发布时间2023.05.15 15:53:27

托管 Prometheus 服务提供基于 exporter 的方式来监控 Kafka 运行状态,本文为您介绍如何在集群中部署 kafka-exporter,并实现对 Kafka 的监控。

前提条件

配置步骤

步骤一:部署 kafka-exporter

  1. 登录 容器服务控制台
  2. 在左侧菜单栏中选择 集群,并在右侧集群列表中选择目标集群。
  3. 单击集群名称,进入集群配置页面。
  4. 在左侧菜单栏中选择 工作负载 > 无状态负载。 单击 使用 Yaml 创建 ,部署 Kafka-exporter。
apiVersion: apps/v1
kind: Deployment
metadata: 
  name: kafka-exporter # 配置 exporter 的名称
  namespace: volcano-metrics # 配置 exporter 的命名空间
  labels: 
    app-name: kafka-exporter # 配置 exporter 的标签
spec: 
  replicas: 1 # 配置 exporter 副本数
  selector: 
    matchLabels: 
      app-name: kafka-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息
  template: 
    metadata: 
      labels: 
        app-name: kafka-exporter # 根据业务需要调整成对应的名称,建议加上 Kafka 实例的信息
    spec: 
      containers: 
      - args: 
        - --kafka.server=x.x.x.x:9092 # 配置 Kafka 实例的地址和端口号
        image: danielqsj/kafka-exporter:latest # 拉取 Docker Hub 中的 exporter 镜像
        imagePullPolicy: IfNotPresent
        name: kafka-exporter # 配置容器名称
        ports:
        - containerPort: 9308 # 配置容器端口号
          name: metric-port # 配置容器端口名称
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      terminationGracePeriodSeconds: 30

说明

kafka-exporter 的详细参数,请参见 kafka-exporter

步骤二:配置服务发现

  1. 在左侧菜单栏中选择 工作负载 > 对象浏览器
  2. 单击 使用 Yaml 创建 ,通过 PodMonitor 配置服务发现。
    • 类型 下拉菜单中选择 自定义
    • Yaml 配置框内输入 Yaml 配置。
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: kafka-exporter # 配置 PodMonitor 的名称
  namespace: volcano-metrics # 配置 PodMonitor 的命名空间
  labels: 
    volcengine.vmp: "true" # 配置 PodMonitor 的标签,允许被 Prometheus-agent 发现
spec:
  podMetricsEndpoints:
  - interval: 30s
    port: metric-port # 填写 exporter 的容器端口名称
    path: /metrics # 填写指标暴露的 URI 路径,不填默认为 /metrics
    relabelings: # 配置指标的 relabel。如没有该需求,可省略。
    - action: replace
      sourceLabels:
      - instance
      regex: (.*)
      targetLabel: instance
      replacement: 'kafka-xxxxxx' # 配置为 Kafka 实例的 ID 值
  namespaceSelector:
    matchNames: 
    - volcano-metrics # 配置为 exporter 所在的命名空间
  selector: 
    matchLabels:
      app-name: kafka-exporter # 配置 exporter 的 Label 值,以定位和选择目标 Pod

结果验证

  1. 执行以下命令,配置 Grafana 端口映射。
kubectl port-forward service/grafana 3000:3000 -n volcano-metrics
  1. 在本地环境(Linux/Mac)中打开浏览器,在地址栏中输入 localhost:3000,进入 Grafana 登录界面,使用默认用户名admin密码admin登录。
    alt
  2. 登录 Grafana 后,创建大盘,即可查看 Kafka 的指标信息。
    alt

    说明

    kafka-exporter 的详细参数,请参见 kafka-exporter