Kubernetes环境下Grafana HA告警重复触发及节点动态更新问题求助

针对你遇到的Grafana多实例重复告警、HA peers无法动态更新的问题，以下是符合Kubernetes最佳实践的解决方案：

核心思路：利用Kubernetes Headless Service实现自动服务发现 #

Headless Service不会分配ClusterIP，而是直接返回后端所有Pod的IP地址，Grafana可以通过解析Headless Service的DNS域名，自动获取所有实例的地址并维护HA peers列表，无需手动配置固定IP。

步骤1：创建Grafana Headless Service #

创建一个指向所有Grafana Pod的Headless Service，用于HA端口的服务发现：

apiVersion: v1
kind: Service
metadata:
  name: grafana-headless
  # 替换为你的Grafana所在命名空间
  namespace: default
spec:
  # 关键：设置clusterIP为None，成为Headless Service
  clusterIP: None
  selector:
    # 替换为你的Grafana Pod的标签
    app: grafana
  ports:
    - name: ha
      port: 9094
      targetPort: 9094

步骤2：调整Grafana的HA配置 #

修改Grafana的unified_alerting配置，将ha_peers指向Headless Service的DNS域名，并开启定期发现：

[unified_alerting]
enabled = true
ha_listen_address = ${POD_IP}:9094
# 替换为Headless Service的完整域名：<service-name>.<namespace>.svc.cluster.local:9094
ha_peers = grafana-headless.default.svc.cluster.local:9094
# 配置定期更新peers的间隔，默认30秒，可按需调整
ha_discovery_interval = 30s

步骤3：确保Grafana Deployment暴露HA端口 #

在Grafana的Deployment配置中，添加HA端口的暴露：

spec:
  template:
    spec:
      containers:
        - name: grafana
          image: grafana/grafana:<your-version>
          ports:
            - containerPort: 3000
              name: http
            - containerPort: 9094
              name: ha
          # 其他配置...

额外说明 #

• 版本要求：确保使用Grafana 8.0及以上版本，Unified Alerting的HA功能从该版本开始支持基于DNS的自动服务发现。
• 动态适配：当Pod重启、扩容或缩容时，Headless Service的DNS记录会自动更新，Grafana会通过ha_discovery_interval配置的间隔自动刷新peers列表，无需手动干预。
• StatefulSet替代方案：如果使用StatefulSet部署Grafana，也可以利用其固定的Pod DNS格式（如grafana-0.grafana-headless.default.svc.cluster.local）配置ha_peers，但灵活性不如Headless Service的自动发现，扩容时需调整配置。

内容的提问来源于stack exchange，提问作者elcaos