如何基于日志配置QuestDB严重错误的告警机制？

一、先搞定QuestDB日志基础配置 #

• 修改server.conf配置文件，指定日志输出路径：设置logger.file.path为具体文件路径，比如/var/log/questdb/questdb.log，避免仅输出到stdout。
• 调整日志级别：将logger.level设为ERROR，只记录严重错误；如果需要保留上下文信息，可临时设为INFO，但告警时仅过滤ERROR级别的内容。
• 配置日志轮转：通过logger.file.roll.size设置单日志文件大小阈值（比如10485760即10MB），自动轮转日志，防止文件过大。

二、选择适合的告警工具链 #

方案1：Promtail + Loki + Grafana（轻量云原生方案） #

• 配置Promtail采集日志：在Promtail配置文件中添加QuestDB日志的采集规则，解析日志级别：

  scrape_configs:
    - job_name: questdb
      static_configs:
        - targets: [localhost]
          labels:
            job: questdb
            __path__: /var/log/questdb/questdb.log
      pipeline_stages:
        - regex:
            expression: '(?P<timestamp>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d+Z) (?P<level>[A-Z]+) (?P<message>.*)'
        - labels:
            level:
  

• Loki中创建查询规则：筛选ERROR级别的日志，查询语句为{job="questdb"} |= "ERROR"
• Grafana配置告警：新建告警规则，基于上述Loki查询，设置时间窗口（比如5分钟）内出现ERROR日志即触发告警，配置邮件、Slack等通知渠道。

方案2：ELK Stack（Elasticsearch + Logstash + Kibana） #

• Logstash采集并过滤日志：配置输入为QuestDB日志文件，过滤仅保留ERROR级别内容：

  input {
    file {
      path => "/var/log/questdb/questdb.log"
      start_position => "beginning"
    }
  }
  filter {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:message}" }
    }
    if [level] != "ERROR" {
      drop {}
    }
  }
  output {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "questdb-logs-%{+YYYY.MM.dd}"
    }
  }
  

• Kibana设置告警：在Alerting模块创建规则，监控questdb-logs-*索引中ERROR日志的数量，超过阈值时触发通知。

方案3：Shell脚本定时检查（适合小型部署） #

• 编写脚本检测最近10分钟内的ERROR日志，触发邮件通知：

  #!/bin/bash
  LOG_FILE="/var/log/questdb/questdb.log"
  # 提取最近10分钟内的ERROR日志
  RECENT_ERRORS=$(tail -n 1000 "$LOG_FILE" | grep "ERROR" | grep "$(date -d '-10 minutes' +'%Y-%m-%dT%H')")
  if [ -n "$RECENT_ERRORS" ]; then
    echo "$RECENT_ERRORS" | mail -s "QuestDB 严重错误告警" your-email@example.com
  fi
  

• 通过crontab定时执行，比如每10分钟运行一次：*/10 * * * * /path/to/questdb-alert.sh

三、重点监控的错误关键词 #

QuestDB的严重错误通常包含以下关键词，告警时可针对性过滤：

• FATAL：致命错误，数据库可能崩溃
• ERROR：常规严重错误，如查询失败、存储异常
• Assertion failed：断言失败，多为内部逻辑错误
• Cannot allocate memory：内存不足，可能导致服务不稳定
• Connection refused：网络连接异常，影响客户端访问

内容的提问来源于stack exchange，提问作者Andrei Pechkurov