如何在Red Hat OpenShift中配置Pod内存利用率触发邮件告警？

这个需求完全可行，OpenShift默认集成了Prometheus（负责指标采集与告警规则评估）和Alertmanager（负责告警路由与通知发送），结合这两个组件就能实现你的需求。以下是具体实现步骤：

1. 编写针对特定Pod的Prometheus告警规则 #

你需要创建PrometheusRule自定义资源，定义内存利用率达80%的告警逻辑。

核心PromQL查询逻辑 #

针对指定命名空间、带有特定标识的Pod，计算其内存利用率：

(sum(container_memory_working_set_bytes{namespace="your-namespace", pod=~"target-pod-prefix-.*", container!="POD"}) by (pod) 
 / 
sum(kube_pod_container_resource_limits_memory_bytes{namespace="your-namespace", pod=~"target-pod-prefix-.*"}) by (pod)) * 100 >= 80

• namespace="your-namespace"：替换为你的Pod所在命名空间
• pod=~"target-pod-prefix-.*"：用正则匹配你要监控的Pod（比如my-app-.*匹配所有以my-app开头的Pod）
• container!="POD"：排除pause容器（OpenShift中每个Pod的基础容器）
• 用container_memory_working_set_bytes（实际使用的工作集内存）除以kube_pod_container_resource_limits_memory_bytes（Pod配置的内存上限），得到利用率

完整PrometheusRule YAML配置 #

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: pod-memory-usage-alert
  namespace: openshift-monitoring  # 告警规则需部署在监控组件所在命名空间
spec:
  groups:
  - name: pod-memory-alerts
    rules:
    - alert: PodMemoryUsageExceeded80Percent
      expr: |
        (sum(container_memory_working_set_bytes{namespace="your-namespace", pod=~"target-pod-prefix-.*", container!="POD"}) by (pod) 
         / 
        sum(kube_pod_container_resource_limits_memory_bytes{namespace="your-namespace", pod=~"target-pod-prefix-.*"}) by (pod)) * 100 >= 80
      for: 1m  # 持续1分钟满足条件才触发告警，避免误报
      labels:
        severity: warning
      annotations:
        summary: "Pod {{ $labels.pod }} 内存利用率过高"
        description: "Pod {{ $labels.pod }} 的内存利用率已达 {{ $value | round }}%，超过阈值80%。"

将上述内容保存为pod-memory-alert.yaml，执行oc apply -f pod-memory-alert.yaml完成部署。

2. 关联告警规则与邮件通知接收器 #

你提到已掌握邮件通知配置，只需确保Alertmanager的配置中，将severity=warning的告警路由到你的邮件接收器即可。通常是在Alertmanager的receivers节点配置SMTP参数，再通过route规则匹配severity标签完成关联。

3. 关键注意事项 #

• 确保目标Pod已配置内存limit：如果Pod未设置resources.limits.memory，kube_pod_container_resource_limits_memory_bytes指标会缺失，导致利用率计算失效。若需基于requests计算，可将查询中的limits替换为requests。
• 验证PromQL有效性：可在OpenShift控制台的「监控」→「Metrics」页面测试上述PromQL，确认能返回目标Pod的利用率数据。
• 测试告警触发：可以通过在Pod内运行内存密集型命令（比如dd if=/dev/zero of=/tmp/test bs=1G count=1）模拟高负载，验证告警是否生成并发送邮件。

内容的提问来源于stack exchange，提问作者tlorel