如何为Prometheus重塑Nomad指标格式以适配多环境使用

可行解决方案 #

Prometheus中指标名称本质是名为__name__的内置标签，修改该标签的值即可直接调整指标名称，你可以通过以下两种方式实现需求，推荐第一种永久修改的方案适配多环境使用：

1. 采集阶段永久修改（存储前生效）

在Prometheus配置文件中找到Nomad指标对应的采集job，新增metric_relabel_configs配置段即可在指标入库前完成名称重写，示例配置如下：

scrape_configs:
  - job_name: 'nomad_metrics'
    static_configs:
      - targets: ['<你的Nomad指标暴露地址>']
    # 新增以下重命名配置
    metric_relabel_configs:
      - source_labels: [__name__]
        # 正则适配你的指标格式：捕获指标前缀 + 需要保留的后缀，过滤中间的UUID、环境、序号、服务标识
        regex: '^(nomad_client_allocated_memory)_[0-9a-fA-F_]{36}_[a-zA-Z0-9]+_[0-9]+_[a-zA-Z0-9]+_(.*)'
        target_label: __name__
        replacement: '${1}_${2}'

如果需要批量适配所有同格式的Nomad指标，可将正则前缀部分改为通配：

regex: '^(nomad_.*)_[0-9a-fA-F_]{36}_[a-zA-Z0-9]+_[0-9]+_[a-zA-Z0-9]+_(.*)'

配置修改完成后，执行Prometheus热重载或重启服务即可生效，可通过Prometheus UI的指标检索页验证重命名结果。

2. 查询阶段临时修改（不改动存储数据）

如果需要保留原始指标格式，仅在查询时使用标准化名称，可直接在PromQL中通过label_replace函数动态修改__name__标签：

label_replace(nomad_client_allocated_memory_*, "__name__", "nomad_client_allocated_memory_$1", "__name__", "nomad_client_allocated_memory_[0-9a-fA-F_]{36}_[a-zA-Z0-9]+_[0-9]+_[a-zA-Z0-9]+_(.*)")

内容的提问来源于stack exchange，提问作者Prav