Kubernetes中PrometheusRule变量定义与集群差异化配置咨询

原配置 #

---
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  namespace: mytest
  labels:
    team: myteam
  name: myname
spec:
  groups:
  - name: mygroup
    rules:
    - alert: MemoryUsage
      annotations:
        message: MemoryUsage at ec2 {{ $labels.cluster_id }} is {{printf "%.2f" $value}}%.  Threshold is 80%.
      expr: 100 * memory_average{container="XXX"...} / 10000000000 > 80
      for: 20m
      labels:
        severity: warning

问题1：替换硬编码数值为变量 #

PrometheusRule本身不支持直接定义变量，但可以通过两种方式实现类似变量的效果：

方法1：用记录规则定义全局常量 #

先创建一个单独的PrometheusRule来定义常量指标，后续告警规则可直接引用：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  namespace: mytest
  labels:
    team: myteam
  name: memory-constants
spec:
  groups:
  - name: constants
    rules:
    - record: max_memory
      expr: vector(10000000000)

修改原告警规则的expr：

100 * memory_average{container="XXX"...} / max_memory > 80

方法2：直接在PromQL中用vector()模拟变量 #

如果不想额外创建规则，可直接把硬编码值用vector()包裹，提升可读性：

100 * memory_average{container="XXX"...} / vector(10000000000) > 80

问题2：针对不同集群设置不同max_memory值 #

可以通过两种方式实现集群差异化的阈值配置：

方法1：用PromQL条件判断（适合少量集群） #

利用PromQL的if函数（需Prometheus 2.37及以上版本）直接实现分支逻辑：

100 * memory_average{container="XXX"...} / 
  if(
    label_eq($labels.cluster_id, "ClusterA"), 
    vector(10000000000), 
    if(
      label_eq($labels.cluster_id, "ClusterB"), 
      vector(7000000000), 
      vector(0) # 其他集群默认值，可按需调整
    )
  ) > 80

低版本Prometheus可改用逻辑或实现：

100 * memory_average{container="XXX"...} / 
  (
    label_eq($labels.cluster_id, "ClusterA") * vector(10000000000) 
    or label_eq($labels.cluster_id, "ClusterB") * vector(7000000000)
  ) > 80

方法2：用带标签的记录规则（适合多集群扩展） #

先创建带cluster_id标签的记录规则，为每个集群定义对应阈值：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  namespace: mytest
  labels:
    team: myteam
  name: cluster-memory-constants
spec:
  groups:
  - name: cluster-constants
    rules:
    - record: max_memory
      expr: vector(10000000000)
      labels:
        cluster_id: ClusterA
    - record: max_memory
      expr: vector(7000000000)
      labels:
        cluster_id: ClusterB

然后在告警规则中通过标签匹配引用对应集群的阈值：

100 * memory_average{container="XXX"...} / on(cluster_id) max_memory > 80

这种方式扩展性更强，新增集群只需在记录规则中添加对应条目即可。

内容的提问来源于stack exchange，提问作者user389955