Prometheus无法发现PodMonitor及目标标签丢失问题排查求助

问题概述 #

通过Helm部署独立Prometheus Operator栈，搭配Strimzi部署的Kafka及ZooKeeper集群，已完成以下配置步骤：

• 启用Kafka与ZooKeeper的指标暴露
• 部署Strimzi提供的Prometheus告警规则
• 部署PodMonitor并修改namespaceSelector.matchNames为Kafka资源所在命名空间
• 配置Prometheus资源的podMonitorSelector.matchLabels以匹配PodMonitor标签

最初遇到PodMonitor未在Prometheus服务发现中显示的问题，已定位为PodMonitor选择器中的冗余标签导致；当前问题为：PodMonitor已正常显示，但所有监控目标的标签全部丢失。

目标标签丢失的可能原因及解决方向 #

• PodMonitor标签提取规则缺失：检查PodMonitor配置，确认是否保留了podMetricsEndpoints下的relabelings或metricRelabelings配置。Strimzi提供的模板中包含提取Kafka集群名称、节点角色等标签的重写规则，若这些配置被误删或未正确部署，会导致目标标签无法被提取。需确保PodMonitor中包含完整的标签重定义规则。
• 跨命名空间权限不足：Prometheus使用的ServiceAccount需要拥有Kafka所在命名空间的资源读取权限，包括pods、endpoints、podmonitors.monitoring.coreos.com等资源的get、list权限。检查对应的ClusterRole或Role配置，确保权限覆盖目标命名空间。
• PodMonitor选择器与Pod标签不匹配：虽然PodMonitor已被发现，但需确认其selector.matchLabels是否与Strimzi生成的Kafka/ZooKeeper Pod标签完全匹配（例如strimzi.io/cluster、strimzi.io/kind等标签）。若选择器匹配范围不准确，可能导致抓取到的目标缺少关键标签。
• 指标端口配置错误：确认PodMonitor中指定的port字段与Strimzi启用指标时配置的端口一致（默认端口名为metrics）。端口不匹配会导致指标抓取失败，进而引发标签提取异常。
• 版本兼容性问题：Strimzi 0.34.0对Prometheus Operator版本有兼容要求，若Helm部署的Prometheus Operator版本超出兼容范围，可能存在CRD字段解析差异，导致标签无法正常生成。参考Strimzi官方文档调整Prometheus Operator至兼容版本。

内容的提问来源于stack exchange，提问作者Магомед Якубов