SpringBoot中Tomcat线程池配置及新节点上线P99高延迟排查

一、Tomcat线程池配置方式 #

直接通过SpringBoot配置文件（application.properties或application.yml）即可配置核心参数：

# 核心线程数：默认10
server.tomcat.threads.core=20
# 最大线程数：默认200
server.tomcat.threads.max=200
# 线程空闲超时时间（毫秒）：默认60000
server.tomcat.threads.timeout=60000
# 任务队列容量：默认无限大（建议设置合理值避免OOM）
server.tomcat.threads.queue-capacity=100
# 任务拒绝策略：可选CALLER_RUNS/ABORT/DISCARD/DISCARD_OLDEST，默认ABORT
server.tomcat.threads.rejection-policy=CALLER_RUNS

二、Tomcat线程池的线程创建机制 #

Tomcat线程池默认是按需创建线程：

• 核心线程数范围内的线程，只有当有实际请求进来时才会初始化
• 请求量超过核心线程数时，先将任务放入队列；队列满后才会创建超出核心数的线程，直到达到最大线程数

三、启动时预创建核心线程的实现方法 #

SpringBoot默认不会预创建核心线程，要实现启动时初始化所有核心线程，需通过自定义Tomcat配置实现：

import org.apache.catalina.connector.Connector;
import org.apache.tomcat.util.threads.ThreadPoolExecutor;
import org.springframework.boot.web.embedded.tomcat.TomcatServletWebServerFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class TomcatThreadPoolConfig {
    @Bean
    public TomcatServletWebServerFactory tomcatFactory() {
        return new TomcatServletWebServerFactory() {
            @Override
            protected void customizeConnector(Connector connector) {
                super.customizeConnector(connector);
                var executor = connector.getProtocolHandler().getExecutor();
                if (executor instanceof ThreadPoolExecutor poolExecutor) {
                    // 预启动所有核心线程
                    poolExecutor.prestartAllCoreThreads();
                }
            }
        };
    }
}

四、初始高延迟的其他排查思路 #

• 类加载与JIT编译延迟：新节点首次处理请求会触发大量类加载和JIT即时编译，导致延迟飙升。可通过：
  • 启动后自动发送一批模拟预热请求，触发类加载和JIT编译
  • 添加-XX:+PrintCompilationJVM参数，分析热点代码的编译时机，提前优化
  • SpringBoot 3.x可开启AOT编译，提前将字节码编译为本地机器码
• 缓存预热不彻底：除数据库连接外，Redis缓存、本地缓存（如Caffeine）、配置中心配置等可能首次请求才加载。可在就绪端点触发前，主动调用相关逻辑完成缓存加载
• 负载均衡慢启动缺失：检查负载均衡器是否配置了慢启动机制（逐步将流量切到新节点），避免瞬间大量请求压垮新节点
• 依赖服务预热：应用依赖的外部服务（MQ、第三方API）首次调用会有连接建立、权限校验等开销，启动阶段可主动发起轻量调用完成预热
• JVM参数优化：检查堆内存、元空间配置是否合理，避免启动后频繁GC；改用低停顿垃圾收集器（如G1、ZGC），减少GC对请求的影响
• 细化监控分析：采集新节点上线后前5分钟的P99延迟、线程池状态（活跃线程数、队列长度）、GC日志、CPU使用率等数据，定位具体耗时环节

内容的提问来源于stack exchange，提问作者BillMan