在Azure Kubernetes中启用Prometheus监控时遇到错误

从错误日志可明确问题：Prometheus检测到重复的时间序列，触发原因大概率是kube-state-metrics的采集配置重复，或是多实例/多任务重复抓取了相同指标。具体错误信息如下：

server.go:1053] "Query processing failed" err="found duplicate series for the matchers {name=~"kube_.+", job="kube-state-metrics"};
this is frequently caused by duplicate scrape configurations in prometheus.yml"

解决步骤 #

• 检查Prometheus核心配置（prometheus.yml或Helm values文件），排查是否存在重复的job: kube-state-metrics抓取规则，比如多个scrape_configs条目同时指向kube-state-metrics服务。
• 若通过Helm部署kube-prometheus-stack，核对values.yaml中是否重复启用了kube-state-metrics相关配置，或是手动添加的自定义采集规则与默认规则冲突。
• 检查集群内kube-state-metrics实例数量，执行命令：kubectl get pods -n monitoring | grep kube-state-metrics（替换为实际命名空间），若存在多个实例，保留一个即可，其余删除。
• 若旧数据干扰，可清理Prometheus存储并重启Pod：进入Pod执行rm -rf /prometheus/data，再重启Pod（注意：此操作会丢失历史监控数据，需确认业务可接受）。
• 排查是否有其他监控组件（如Azure Monitor的Prometheus集成）同时采集kube-state-metrics指标，调整采集范围避免指标重叠。

内容的提问来源于stack exchange，提问作者Punit kumar