解决kube-prometheus-stack Helm部署中Grafana Alertmanager数据源配置失败问题

以下是针对该问题的可行排查和配置步骤：

• 核对数据源基础配置

  • 确认Grafana中选择的数据源类型是Alertmanager，勿误选成Prometheus或其他类型。
  • URL填写为http://prometheus-alertmanager.default:9093（注意末尾不要加斜杠），并勾选Skip TLS Verify选项——集群内服务通常未配置公开可信证书，开启此选项可避免TLS校验失败。

• 验证Alertmanager API可用性
  在Grafana Pod内执行以下命令，确认Alertmanager核心API能正常返回响应：

  curl http://prometheus-alertmanager.default:9093/api/v2/status
  

  若返回JSON格式的状态信息，说明API通路正常；若请求失败，需检查Alertmanager的配置是否开启了认证或路径限制：

  1. 获取Alertmanager配置密钥：

     kubectl get secret alertmanager-main -n default -o yaml
     

  2. 解码data.alertmanager.yaml字段，查看是否存在basic_auth或tls_config配置。如果有，需在Grafana数据源中对应填写用户名密码，或导入TLS证书。

• 排查网络策略限制
  确认集群中没有网络策略阻止Grafana Pod访问Alertmanager的9093端口：

  kubectl get networkpolicies -n default
  

  若存在针对Alertmanager的网络策略，需确保规则允许Grafana所在命名空间的Pod发起流量请求。

• 重置Grafana配置缓存
  修改数据源配置后，重启Grafana Pod清除可能的配置缓存：

  kubectl rollout restart deployment grafana -n <grafana-namespace>
  

  将<grafana-namespace>替换为Grafana实际部署的命名空间。

• 检查Alertmanager运行状态
  确认Alertmanager Pod处于正常运行状态，无报错日志：

  kubectl get pods -n default -l app.kubernetes.io/name=alertmanager
  kubectl logs <alertmanager-pod-name> -n default
  

  若Pod状态异常或日志中有报错，先修复Alertmanager的运行问题再重新配置数据源。

内容的提问来源于stack exchange，提问作者Herr Hempel