基于Prometheus监控Cassandra备份脚本的告警方案是否可行？

整体来看，你这套用Node Exporter Textfile Collector + Prometheus + Alertmanager监控Cassandra备份状态的思路是完全正确的——这正是Prometheus生态中监控自定义业务状态的标准玩法，没啥毛病。不过你的脚本里有几个细节问题需要调整，不然可能会导致告警逻辑反转或者误判，我来拆解一下：

原脚本的核心问题 #

1. 指标逻辑搞反了：你现在的逻辑是「检测到不完整备份时输出0，正常时啥也不输出」，但你的告警规则是cassandra_backup_status != 0——这意味着当备份真出问题时，告警反而不会触发，完全反了。
2. 指标缺失风险：正常情况下脚本没输出指标，Node Exporter就不会暴露这个指标，Prometheus会标记该指标「缺失」，如果你的告警规则没考虑这种情况，可能会触发误告警（比如认为监控出问题了）。
3. 标签格式错误：status='"success"'里的嵌套引号是多余的，Prometheus的标签值不需要额外加引号，写成status="success"就够了，否则标签值会带引号，后续查询或告警规则匹配会出问题。
4. 没有错误处理：如果medusa命令本身执行失败（比如没装、权限不足、路径不对），脚本会直接走到else分支，误以为备份正常，这是个隐藏的坑。

优化后的脚本示例 #

我调整了脚本的逻辑，补上了错误处理，确保任何场景下都能输出合法的Prometheus指标：

#!/bin/bash
# 定义指标文件路径（确保node_exporter有读写权限）
METRIC_FILE="/var/lib/node_exporter/textfile_collector/cassandra_backup_status.prom"

# 先检查medusa命令是否可用
if ! command -v medusa &> /dev/null; then
    echo "cassandra_backup_status{status=\"medusa_unavailable\"} 1" > "$METRIC_FILE"
    exit 1
fi

# 执行medusa并捕获输出和退出码
BACKUP_OUTPUT=$(medusa list-backups 2>&1)
MEDUSA_EXIT_CODE=$?

# 检查medusa执行是否成功
if [ $MEDUSA_EXIT_CODE -ne 0 ]; then
    echo "cassandra_backup_status{status=\"medusa_exec_failed\"} 1" > "$METRIC_FILE"
    exit $MEDUSA_EXIT_CODE
fi

# 检查是否存在不完整备份
if echo "$BACKUP_OUTPUT" | grep -q "Incomplete"; then
    echo "cassandra_backup_status{status=\"incomplete_backup\"} 1" > "$METRIC_FILE"
else
    echo "cassandra_backup_status{status=\"success\"} 0" > "$METRIC_FILE"
fi

优化点说明 #

• 统一指标输出：无论备份正常、异常还是medusa本身出问题，都会输出指标，避免Prometheus侧指标缺失。
• 修正逻辑：异常场景（不完整备份、medusa故障）输出1，正常场景输出0，完美匹配你cassandra_backup_status != 0的告警规则。
• 增加错误处理：提前检查medusa可用性，捕获命令执行失败的情况，避免误判。
• 规范标签格式：去掉多余的嵌套引号，符合Prometheus指标规范。

Alertmanager规则的优化建议 #

你的基础告警规则没问题，但可以细化一下，根据不同的status标签触发不同的告警消息，方便快速定位问题：

groups:
- name: cassandra_backup_alerts
  rules:
  - alert: CassandraBackupIncomplete
    expr: cassandra_backup_status{status="incomplete_backup"} == 1
    for: 5m  # 避免瞬时波动触发告警
    labels:
      severity: critical
    annotations:
      summary: "🚨 Cassandra存在不完整备份"
      description: "Medusa检测到未完成的备份任务，请立即检查Cassandra备份状态。"
  - alert: CassandraMedusaUnavailable
    expr: cassandra_backup_status{status="medusa_unavailable"} == 1
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "⚠️ Medusa命令不可用"
      description: "无法执行medusa命令，请检查Medusa安装路径或执行权限。"

总结 #

你的核心方案是正确的，只要调整脚本的逻辑和健壮性，再细化下告警规则，就能稳定监控Cassandra的备份状态，及时发现问题。

内容的提问来源于stack exchange，提问作者uralsk