Kube-prometheus中使用namespaceSelector跨namespace采集指标失败求助

1. 配置Prometheus资源的命名空间选择器 #

Prometheus CR需要明确允许监听目标Namespace的ServiceMonitor，检查你的Prometheus配置：

apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  name: k8s
  namespace: monitoring
spec:
  # 允许匹配shop命名空间的ServiceMonitor
  serviceMonitorNamespaceSelector:
    matchNames:
    - shop
  # 或者设置为空，允许扫描所有命名空间（生产环境建议用标签做更严格限制）
  # serviceMonitorNamespaceSelector: {}
  # 确保这个选择器能匹配到你的ServiceMonitor标签
  serviceMonitorSelector:
    matchLabels:
      app: your-shop-app

2. 修正ServiceMonitor的匹配规则 #

确认ServiceMonitor的命名空间选择器和Service选择器完全正确：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: shop-app-sm
  namespace: monitoring
  labels:
    app: your-shop-app # 要和Prometheus的serviceMonitorSelector匹配
spec:
  namespaceSelector:
    matchNames:
    - shop # 明确指定目标命名空间
  selector:
    matchLabels:
      app: shop-service # 匹配shop命名空间下的Service标签
  endpoints:
  - port: metrics # 必须是Service中定义的端口名称，而非数字
    path: /metrics # 确保和服务暴露的指标路径一致

3. 验证Prometheus Pod的网络可达性 #

即使生成了采集job，网络不通也会导致采集失败：

• 进入Prometheus Pod执行命令，测试能否访问目标服务的指标端点：

  curl http://<shop-service-name>.shop.svc.cluster.local:<metrics-port>/metrics
  

• 确认目标Service的selector正确匹配到运行指标服务的Pod，且Pod的端口暴露正常

4. 确认Prometheus ServiceAccount的RBAC权限 #

除了Operator的ClusterRole，还要确保Prometheus Pod使用的ServiceAccount拥有跨Namespace权限：

• 检查prometheus-k8s（默认ServiceAccount）对应的ClusterRole是否包含对所有Namespace下services、endpoints、pods的get、list、watch权限
• 确认ClusterRoleBinding已将该ClusterRole绑定到Prometheus的ServiceAccount，且权限范围覆盖shop命名空间

5. 检查ServiceMonitor端点的细节配置 #

• 避免用数字端口，优先使用Service中定义的端口名称，防止端口变更后采集失效
• 如果指标服务需要认证，补充配置bearerTokenFile或tlsConfig字段
• 调整interval和scrapeTimeout参数，避免因超时导致采集失败

内容的提问来源于stack exchange，提问作者Igorep