如何在Prometheus中正确重命名job_name？解决Grafana面板故障

1. 更新Prometheus配置并重启 #

• 编辑prometheus.yml，将原job_name: "prometheus"修改为job_name: "linux"
• 重启Prometheus服务，确保新配置生效，此后新采集的指标会携带job="linux"标签

2. 处理历史指标数据 #

Prometheus会留存带有旧job="prometheus"标签的历史数据，这是Grafana变量出现两个值的核心原因，可按以下两种方式处理：

• 清理旧数据（简单直接）
  • 停止Prometheus服务
  • 删除Prometheus的数据存储目录（默认路径为data/，具体以你的实际配置为准）
  • 重启Prometheus，此时系统仅会采集和存储带有job="linux"标签的新数据
• 通过relabeling平滑过渡（保留历史数据）
  • 若不想丢失历史数据，在prometheus.yml的scrape配置中添加relabel规则，将旧的job="prometheus"标签重写为job="linux"：

    scrape_configs:
      - job_name: "linux"
        # 保留原有scrape配置（如targets、metrics_path等）
        relabel_configs:
          - source_labels: [job]
            regex: "prometheus"
            target_label: job
            replacement: "linux"
    

  • 重启Prometheus后，新采集的指标和历史旧指标都会统一使用job="linux"标签

3. 同步更新Grafana配置 #

• 进入Grafana对应仪表板的编辑模式，找到job变量的配置项
• 确认变量的查询语句（通常为label_values(job)），可手动移除旧的"prometheus"选项，或等待Prometheus旧数据按配置的retention_time过期后自动消失
• 检查所有面板的查询语句，确保原本引用job="prometheus"的地方已替换为job="linux"，或直接使用变量$job实现动态适配

内容的提问来源于stack exchange，提问作者Алдар