使用kube-prometheus-stack采集多K8s集群遇标签命名冲突问题

问题描述 #

我正在尝试将多个Kubernetes集群的指标采集到单个Prometheus实例中，使用kube-prometheus-stack作为监控组件，所有集群采用相同的CRD配置。目前已通过以下配置成功连接其中一个集群：

values: |
    monitoring:
      prometheus:
        prometheusSpec:
          additionalScrapeConfigs: |
            - job_name: "Cluster-1"
              static_configs:
              - targets: ["10.0.0.1:40404"]

但出现了采集集群与被采集集群的标签和容器命名冲突问题。我尝试通过monitoring.nameOverride、monitoring.fullnameOverride修改采集集群的命名，也试过将这些配置放在monitoring.prometheus下，但均无效果，想确认配置方法是否有误。

解决方案 #

1. 修正nameOverride/fullnameOverride的配置位置 #

你的配置位置错误，nameOverride和fullnameOverride是kube-prometheus-stack Chart的顶层配置参数，并非Prometheus子组件的参数。如果是将kube-prometheus-stack作为子Chart部署在monitoring节点下，这些参数需要直接放在monitoring节点下，与prometheus同级：

values: |
    monitoring:
      nameOverride: "central-monitor"
      fullnameOverride: "central-monitor-stack"
      prometheus:
        prometheusSpec:
          additionalScrapeConfigs: |
            - job_name: "Cluster-1"
              static_configs:
              - targets: ["10.0.0.1:40404"]

修改后，采集集群的组件命名会被覆盖，避免与被采集集群的命名冲突。

2. 更可靠的方案：通过Relabeling添加集群标识 #

相比修改组件命名，更推荐在采集远程集群指标时，通过Relabeling为指标添加唯一的集群标签，从根源解决标签冲突问题。示例配置如下：

values: |
    monitoring:
      prometheus:
        prometheusSpec:
          additionalScrapeConfigs: |
            - job_name: "Cluster-1"
              static_configs:
              - targets: ["10.0.0.1:40404"]
              relabel_configs:
              # 添加集群标识标签
              - source_labels: [__address__]
                target_label: cluster
                replacement: "Cluster-1"
              # 保留K8s节点原有标签（可选）
              - action: labelmap
                regex: __meta_kubernetes_node_label_(.+)

每个集群的指标都会带上cluster: Cluster-1这类唯一标签，即使其他标签重复，也能通过该标签轻松区分不同集群的指标，比修改命名更灵活可靠。

内容的提问来源于stack exchange，提问作者Kapawn