Spring Boot 2.1.2.RELEASE随机无错崩溃问题求助

根据你描述的情况（Spring Boot 2.1.2.RELEASE在CentOS 7通过systemd启动，随机几周/月崩溃，堆转储无异常，日志有PostgreSQL连接错误），结合你提供的日志片段，我来分析几个核心的排查方向：

1. 数据库连接失效触发应用异常关闭 #

从日志时序来看，应用先启动了关闭流程（比如关闭线程池、EntityManagerFactory、Hikari连接池），之后才出现PostgreSQL的I/O连接错误——这说明数据库连接问题更可能是关闭流程中的副作用，而非崩溃的根源。但连接池配置不合理可能间接触发应用关闭：

• PostgreSQL端的长连接可能被防火墙、负载均衡或者数据库自身的超时机制断开（比如idle_in_transaction_session_timeout设置过短），而HikariCP没有及时检测到失效连接，导致后续请求抛出连接错误，若未正确处理可能触发应用的关闭逻辑
• HikariCP的maxLifetime如果超过了PostgreSQL的连接最大存活时间，会导致连接池持有失效连接

建议:

• 检查PostgreSQL的postgresql.conf：
  • 设置idle_in_transaction_session_timeout为合理值（比如1800s即30分钟）
  • 开启TCP保活参数：tcp_keepalives_idle = 60、tcp_keepalives_interval = 10、tcp_keepalives_count = 6，避免连接被中间件断开
• 调整HikariCP配置：
  • 设置maxLifetime比PostgreSQL的连接超时短10%左右（比如PostgreSQL超时30分钟，Hikari设为27分钟）
  • 添加connectionTestQuery: SELECT 1（针对老版本PostgreSQL）或启用validationTimeout，确保连接池定期校验连接有效性

2. Systemd或系统层面触发应用关闭 #

应用的关闭流程被意外触发是更可能的根源，常见场景：

• Systemd Watchdog误判：如果你的systemd服务配置了WatchdogSec，但应用没有正确实现watchdog的心跳反馈，systemd会认为应用无响应，发送SIGTERM信号触发关闭
• OOM Killer杀死进程：系统内存不足时，Linux的OOM Killer会选择内存占用高的进程杀死，可能触发应用的部分线程崩溃，进而启动关闭流程
• 意外信号触发：比如运维操作误发停止信号，或者系统其他服务的脚本误触发送信号

建议:

• 检查systemd服务文件（比如/etc/systemd/system/your-app.service）：
  • 若开启了WatchdogSec，确认应用是否集成了systemd watchdog的心跳实现（Spring Boot 2.3+原生支持，2.1.x可能需要手动配置），或者暂时关闭该选项验证
  • 添加Restart=always和RestartSec=5配置，确保应用崩溃后自动重启，同时通过systemctl status your-app查看重启次数，确认崩溃频率
• 查看系统日志排查OOM：
  • 执行dmesg | grep -i "out of memory"或查看/var/log/messages，搜索是否有OOM Killer相关的日志记录
• 检查JVM内存参数：确保-Xmx、-Xms设置合理，避免内存过度占用触发OOM

3. 线程池阻塞导致应用无响应 #

日志中出现了taskScheduler、applicationTaskExecutor的关闭日志，若应用运行时线程池被任务堆积耗尽，会导致应用无法处理新请求，甚至被systemd判定为无响应：

• 线程池的corePoolSize、maxPoolSize设置过小，无法应对突发请求
• 任务处理时间过长，导致队列堆积，线程池饱和

建议:

• 调整线程池配置：根据业务负载增大corePoolSize和maxPoolSize，合理设置queueCapacity（避免无界队列导致内存溢出）
• 集成Spring Boot Actuator，启用/actuator/threaddump端点，定期导出线程栈，查看是否有大量线程处于BLOCKED或WAITING状态，定位阻塞点

4. 非堆内存或系统资源耗尽 #

堆转储未发现问题，但非堆内存（元空间、直接内存）或系统资源耗尽也可能导致应用崩溃：

• 元空间耗尽：若应用动态生成大量类（比如反射、代理），-XX:MaxMetaspaceSize设置过小会触发OOM
• 文件句柄耗尽：应用打开大量数据库连接、文件或网络连接，超过系统nofile上限

建议:

• 调整JVM参数：设置-XX:MaxMetaspaceSize=256m（根据实际情况调整）、-XX:MaxDirectMemorySize=128m
• 检查系统资源限制：
  • 执行ulimit -a查看当前用户的文件句柄、进程数限制
  • 修改/etc/security/limits.conf，添加：

    your-app-user soft nofile 65536
    your-app-user hard nofile 65536
    

  然后重启应用生效

内容的提问来源于stack exchange，提问作者Maciej eM