高负载下OpenJDK11环境Tomcat应用冻结:safepoint日志大量ThreadStop条目问题咨询
OpenJDK 11 环境下ThreadStop类型Safepoint故障排查
哪些操作会触发ThreadStop类型的Safepoint
- JVM层面发起的线程终止流程,需要所有应用线程进入安全点完成线程状态一致性校验时,会生成ThreadStop区域的safepoint事件
- Tomcat内置线程池的空闲线程回收:当工作线程超过配置的最大空闲时长被销毁时,会逐次触发线程终止逻辑,对应产生ThreadStop类型safepoint
- 应用自定义线程组件的销毁流程:包括自建线程池的动态扩缩容、定时任务线程的生命周期管理、业务侧定义的强制线程终止操作,都会触发该类safepoint
- JVM内部服务线程的动态调整:比如JIT编译线程、监控采集线程在动态调整数量发生终止时,部分流程也会归类到ThreadStop类型的safepoint区域
ThreadStop类型Safepoint是否为系统冻结的根本原因
单条ThreadStop safepoint的耗时为毫秒级(从你贴的日志条目看单条停顿时长仅2ms左右),本身不会造成1-2分钟的系统冻结,但连续数百到数千条无间隔的ThreadStop事件,是可以直接引发这类冻结现象的
- 正常场景下ThreadStop类safepoint是零星分散的,和GC、偏向锁撤销等其他类型safepoint穿插出现,单次停顿的影响完全可以忽略
- 你观察到的连续高密度ThreadStop事件,本质是系统卡在了进入safepoint的等待阶段:每一次线程终止操作都需要等待所有运行中的应用线程跑到安全点位置才能执行,如果高负载下应用线程存在长计算循环、本地方法调用、未设置安全点轮询的代码段,迟迟不响应安全点信号,就会导致每一次ThreadStop的safepoint都需要等待数十秒才能进入,累计等待时间就会形成1-2分钟的冻结窗口
- 该现象和你的观测值完全匹配:所有业务线程停摆等待进入安全点时,不会产生新的业务计算和日志写入,也不会消耗大量CPU,自然会出现CPU负载骤降、日志无新增的表现
对应的排查与解决操作
- 调整JVM safepoint日志输出维度,启动参数添加
-XX:+PrintSafepointStatistics -XX:PrintSafepointStatisticsCount=1,可以定位每一次ThreadStop事件的发起线程和等待时长占比,明确具体的触发来源 - 故障发生时抓取jstack线程快照,定位连续发起线程终止操作的组件:
- 如果是Tomcat工作线程被批量回收,调高
server.tomcat.threads.max-idle配置值,将空闲线程回收的阈值设置为和峰值并发匹配的水平,减少高负载回落之后的批量线程销毁操作,避免一次性触发成百上千个ThreadStop流程 - 如果是应用自建线程池的配置问题,将核心线程数调整为和业务峰值并发匹配的固定值,缩短不必要的动态线程回收逻辑,避免高负载下线程被反复创建、销毁
- 如果是业务代码中存在废弃API
Thread.stop()的显式调用,将强终止逻辑替换为标志位判断的优雅线程停止方式,减少不必要的safepoint触发
- 如果是Tomcat工作线程被批量回收,调高
- 排查高负载下的无安全点长循环问题:如果存在大数组批量处理、纯计算长循环这类没有安全点轮询的代码段,会大幅拖慢所有safepoint的进入速度,放大ThreadStop事件的影响,需要在这类循环中手动增加安全点轮询逻辑
内容的提问来源于stack exchange,提问作者Kev0815
相关产品推荐
相关产品推荐

