EC2上应用自修复流程中的重启次数限制

针对「Grafana告警触发Jenkins重启应用，需限制最多3次重启，达限后发邮件，修复后重置计数」的需求，以下是几个可落地的轻量方案：

方案一：Jenkins参数化构建+本地文件存储计数 #

核心思路：用Jenkins参数化构建传递计数变量，配合服务器本地文件持久化每个应用的重启次数，无需额外依赖中间件。

具体步骤：

1. 改造Jenkins重启任务
   • 新增两个参数：
     • APP_NAME：字符串类型，标记目标应用（必填，用于区分不同应用的计数文件）
     • MAX_RESTARTS：数值类型，默认设为3（可按需调整）
   • 在任务开始阶段，读取对应应用的计数文件（比如路径设为/opt/app-monitor/${APP_NAME}_restart_count.txt），如果文件不存在则默认计数为0。
2. 计数判断与执行逻辑
   • 编写Shell脚本片段：

     # 读取当前计数，默认0
     CURRENT_COUNT=$(cat /opt/app-monitor/${APP_NAME}_restart_count.txt 2>/dev/null || echo 0)
     if [ $CURRENT_COUNT -lt $MAX_RESTARTS ]; then
         # 执行应用重启命令（替换为你的实际重启逻辑，比如systemctl restart ${APP_NAME}）
         echo "正在重启应用${APP_NAME}，当前重启次数：$CURRENT_COUNT"
         systemctl restart ${APP_NAME}
         # 计数+1并写入文件
         echo $((CURRENT_COUNT + 1)) > /opt/app-monitor/${APP_NAME}_restart_count.txt
     else
         # 触发邮件通知（使用Jenkins邮件插件）
         echo "应用${APP_NAME}已达最大重启次数${MAX_RESTARTS}，停止自修复，通知工程师"
         # 调用Jenkins邮件发送逻辑，示例：
         echo "应用${APP_NAME}自修复重启次数已达上限，请及时排查故障。" | mail -s "应用自修复告警" engineer@yourdomain.com
     fi
     

3. 计数重置逻辑
   • 创建一个单独的Jenkins「重置重启计数」任务，同样接收APP_NAME参数，执行脚本清空对应计数文件：

     echo 0 > /opt/app-monitor/${APP_NAME}_restart_count.txt
     

   • 当工程师修复应用后，手动触发该任务；或者配置Grafana的「应用恢复」告警规则，触发Webhook调用该重置任务，实现自动重置。

方案二：Redis存储计数（适合多应用/分布式场景） #

核心思路：用Redis作为集中式计数存储，支持多应用、跨服务器的计数管理，比本地文件更灵活可靠。

具体步骤：

1. 准备Redis环境
   • 部署Redis实例，确保Jenkins服务器能通过redis-cli访问。
2. 改造Jenkins重启任务
   • 新增APP_NAME和MAX_RESTARTS参数（同方案一）。
   • 编写Shell脚本操作Redis：

     # 获取当前计数，默认0
     CURRENT_COUNT=$(redis-cli GET "app:${APP_NAME}:restart_count" || echo 0)
     if [ $CURRENT_COUNT -lt $MAX_RESTARTS ]; then
         # 执行应用重启
         systemctl restart ${APP_NAME}
         # 计数自增
         redis-cli INCR "app:${APP_NAME}:restart_count"
     else
         # 发送告警邮件
         echo "应用${APP_NAME}重启次数已达上限${MAX_RESTARTS}，请排查故障" | mail -s "自修复告警" engineer@yourdomain.com
     fi
     

3. 计数重置逻辑
   • 创建Jenkins重置任务，执行：

     redis-cli SET "app:${APP_NAME}:restart_count" 0
     

   • 同样可通过手动触发或Grafana恢复告警自动调用该任务。

方案三：Jenkins Pipeline+全局变量（适合单Jenkins实例场景） #

核心思路：利用Jenkins Pipeline的文件操作能力存储计数，无需外部存储，但仅适用于单Jenkins实例且重启任务用Pipeline编写的场景。

具体步骤：

1. 在Pipeline中定义计数逻辑
   • 在Pipeline脚本中，用properties定义参数，然后通过文件读写管理计数：

     pipeline {
         agent any
         parameters {
             string(name: 'APP_NAME', description: '目标应用名称')
             integer(name: 'MAX_RESTARTS', defaultValue: 3, description: '最大重启次数')
         }
         stages {
             stage('Check Restart Count') {
                 steps {
                     script {
                         def countFile = "/var/jenkins_home/app_counts/${APP_NAME}.txt"
                         def currentCount = fileExists(countFile) ? readFile(countFile).trim().toInteger() : 0
                         if (currentCount < MAX_RESTARTS) {
                             // 执行重启
                             sh "systemctl restart ${APP_NAME}"
                             // 更新计数
                             writeFile file: countFile, text: (currentCount + 1).toString()
                         } else {
                             // 发送邮件
                             emailext(
                                 to: 'engineer@yourdomain.com',
                                 subject: "应用${APP_NAME}自修复重启达上限",
                                 body: "应用${APP_NAME}已尝试重启${MAX_RESTARTS}次仍未恢复，请及时排查。"
                             )
                         }
                     }
                 }
             }
         }
     }
     

2. 重置计数
   • 编写单独的Pipeline重置任务，接收APP_NAME参数，执行writeFile file: "/var/jenkins_home/app_counts/${APP_NAME}.txt", text: '0'。

内容的提问来源于stack exchange，提问作者KiborgSDonbassa