如何向kube_node_info、kube_pod_info等现有指标注入新标签？

问题根源 #

你当前的Prometheus配置是给**node-exporter（端口9100）**的采集任务添加了cluster_name标签，但kube_node_info、kube_pod_info这类指标并非来自node-exporter，而是由kube-state-metrics组件生成的，所以这些指标自然不会带上你添加的标签。

具体解决步骤 #

1. 定位kube-state-metrics的采集任务
   在你的Prometheus配置文件中，找到针对kube-state-metrics的采集job（通常目标地址是kube-state-metrics的集群内服务，比如kube-state-metrics.kube-system.svc:8080）。

2. 给kube-state-metrics采集job添加cluster_name标签
   参照你之前的配置方式，在该job的static_configs.labels中添加cluster_name标签，示例配置如下：

   - job_name: 'kube-state-metrics-cluster-1'
     static_configs:
     - targets: ['kube-state-metrics.kube-system.svc:8080']
       labels:
         cluster_name: 'cluster-1'
   

   多集群场景下，每个集群的kube-state-metrics采集job都要单独配置对应集群的cluster_name。

3. 让配置生效
   可以直接重启Prometheus服务，或者用热加载命令无需重启：

   curl -X POST http://<你的Prometheus地址>:9090/-/reload
   

4. 验证结果
   在Prometheus UI中查询kube_node_info或kube_pod_info，检查指标是否已带上cluster_name标签，之后就能在Grafana中基于该标签过滤多集群指标。

额外说明（Prometheus Operator场景） #

如果你的Prometheus是通过Prometheus Operator部署的，需要修改对应的ServiceMonitor资源，在spec.additionalLabels中添加cluster_name标签，示例如下：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-state-metrics
  namespace: kube-system
spec:
  additionalLabels:
    cluster_name: 'cluster-1'
  selector:
    matchLabels:
      app.kubernetes.io/name: kube-state-metrics
  endpoints:
  - port: http-metrics

内容的提问来源于stack exchange，提问作者sal