如何为Kubernetes Prometheus Pod日志中的特定错误配置告警

方案一：基于Prometheus原生指标配置告警（优先推荐） #

Prometheus自身暴露了时序相关的内部指标，可以直接基于指标阈值做提前预警，无需依赖日志采集能力，适用于提前感知风险的场景。

可对接的核心指标 #

• prometheus_tsdb_head_series：当前Prometheus TSDB内存中加载的活跃时间序列总数，实时更新
• prometheus_tsdb_max_series：Prometheus启动参数--storage.tsdb.max-series配置的最大时间序列上限，未配置该参数时指标值为0（代表无限制）

告警规则示例 #

如果是通过Prometheus Operator部署的Prometheus，直接创建如下PrometheusRule资源即可自动生效：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: prometheus-series-limit-alert
  namespace: monitoring
spec:
  groups:
  - name: prometheus-server.rules
    rules:
    # 阈值可根据实际业务需求调整，示例为达到上限85%触发预警
    - alert: PrometheusTimeSeriesNearLimit
      expr: prometheus_tsdb_head_series / on (namespace, pod) prometheus_tsdb_max_series > 0.85
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Prometheus 时间序列数已达上限的85%"
        description: "实例 {{ $labels.pod }} 当前序列数为 {{ $value | humanize }}，即将触达上限"
    # 触达上限时触发 critical 级告警
    - alert: PrometheusTimeSeriesReachLimit
      expr: prometheus_tsdb_head_series / on (namespace, pod) prometheus_tsdb_max_series >= 1
      for: 1m
      labels:
        severity: critical
      annotations:
        summary: "Prometheus 时间序列数已触达上限"
        description: "实例 {{ $labels.pod }} 当前序列数为 {{ $value | humanize }}，已超过配置的最大序列数限制，新时间序列写入会被拒绝"

如果未配置--storage.tsdb.max-series参数，可以将表达式替换为固定阈值判断，比如prometheus_tsdb_head_series > 2000000，阈值根据你的集群规格、资源配置自行调整即可。

方案二：基于日志错误关键字配置告警 #

如果集群已经部署了日志采集组件，可以直接匹配错误日志关键字触发告警，作为指标告警的兜底补充，适用于已经出现写入失败的故障场景。

Loki + Promtail 架构告警示例 #

- alert: PrometheusSeriesLimitError
  expr: count_over_time({job="prometheus", namespace="monitoring"} |= "maximum supported series limit reached" [5m]) > 0
  for: 1m
  labels:
    severity: critical
  annotations:
    summary: "Prometheus 已触发时间序列上限错误"
    description: "实例 {{ $labels.pod }} 日志中检测到序列上限错误，当前已拒绝新时间序列写入"

ELK 架构告警配置 #

配置Elastic Alert规则，匹配日志的message字段包含maximum supported series limit reached关键字的记录，命中即触发告警即可。

方案选择建议 #

• 优先使用指标告警：可以在序列数即将触达上限时就提前预警，预留足够的调优、扩容时间，避免业务侧监控数据写入失败
• 日志告警作为兜底补充：防止指标采集异常、Prometheus自身僵死导致指标不更新的场景，确保故障发生时必能触发通知

内容的提问来源于stack exchange，提问作者user855