Kube Prometheus Stack Helm部署异常：多对多匹配错误求助

1. 错误原因 #

从日志可明确定位核心问题：

• 告警规则KubeletPodStartUpLatencyHigh的表达式使用了* on (cluster, instance) group_left (node)操作，要求左右两侧指标按instance做一对一匹配
• 右侧的kubelet_node_name指标中，同一个instance="192.168.2.10:10250"对应了两个不同的指标系列，区别仅在于service标签分别为prometheus-prime-kube-prom-kubelet和prometheus-kube-prometheus-kubelet
• Prometheus不允许这种多对多匹配逻辑，因为无法确定用哪一个右侧系列与左侧匹配，直接导致规则评估失败

本质是集群内重复部署了Kube Prometheus Stack相关的Kubelet监控Service，同一Kubelet节点被两个不同的采集Service监控，生成了重复指标系列。

2. 修复步骤 #

步骤1：确认重复的Service #

执行命令排查kube-system下的Kubelet监控相关Service：

kubectl get svc -n kube-system | grep kubelet

你会看到两个类似prometheus-xxx-kube-prom-kubelet的Service，这就是重复指标的根源。

步骤2：删除残留的Service #

选择其中一个不需要的Service删除（比如prometheus-prime-kube-prom-kubelet，如果是旧安装残留的）：

kubectl delete svc prometheus-prime-kube-prom-kubelet -n kube-system

步骤3：刷新Prometheus采集配置 #

重启Prometheus StatefulSet，让它重新加载采集规则并清除缓存的重复指标：

kubectl rollout restart statefulset prometheus-prometheus-kube-prometheus-prometheus -n monitoring

（注：如果你的Prometheus StatefulSet名称或命名空间不同，请对应调整命令）

步骤4：验证修复结果 #

端口转发Prometheus Pod后，查看Alerts页面确认KubeletPodStartUpLatencyHigh规则是否正常；同时检查Prometheus Pod日志，确认该错误不再出现。

排查补充说明 #

你提到kube-system下仅有3个Pod，但Service是独立的Kubernetes资源，Pod不重复不代表Service没有重复。这种情况通常是之前尝试过用不同Helm Release名称（比如prime）安装Kube Prometheus Stack，卸载时未清理干净相关Service资源导致的。

内容的提问来源于stack exchange，提问作者Edward S.