如何防止长请求阻塞Tomcat服务器并耗尽线程池？

针对长请求耗尽Tomcat线程池、阻塞短请求的问题，可通过以下几种方案解决：

1. 线程池隔离 #

给短请求和长请求分配独立的Tomcat线程池，避免长请求占用全部线程资源：

• 在Tomcat的server.xml中定义两个Executor，分别对应短请求（比如12个线程）和长请求（比如4个线程）：

<Executor name="ShortTaskExecutor" namePrefix="short-task-" maxThreads="12" minSpareThreads="2"/>
<Executor name="LongTaskExecutor" namePrefix="long-task-" maxThreads="4" minSpareThreads="1"/>

• 通过Connector或者Context配置，让特定路径的长请求使用单独的线程池，比如：

<Connector executor="ShortTaskExecutor" port="8080" ...>
    <Context docBase="/app" path="/">
        <!-- 长请求路径映射到LongTaskExecutor -->
        <Valve className="org.apache.catalina.valves.ExecutorValve" executor="LongTaskExecutor" pattern="/api/long-*"/>
    </Context>
</Connector>

这样即使长请求占满自己的线程池，短请求依然有足够线程处理。

2. 异步Servlet处理 #

将长请求改为异步模式，释放Tomcat请求线程，避免长时间占用：

• 标记Servlet支持异步，把耗时任务提交到后台线程池执行：

@WebServlet(urlPatterns = "/api/long-task", asyncSupported = true)
public class LongTaskServlet extends HttpServlet {
    // 自定义后台线程池，与Tomcat请求线程池隔离
    private final ExecutorService backgroundPool = Executors.newFixedThreadPool(4);

    @Override
    protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws IOException {
        AsyncContext asyncCtx = req.startAsync();
        // 把耗时任务丢到后台线程池
        backgroundPool.submit(() -> {
            try {
                // 模拟1分钟的耗时任务
                Thread.sleep(60000);
                resp.getWriter().write("长任务执行完成");
            } catch (Exception e) {
                resp.setStatus(HttpServletResponse.SC_INTERNAL_SERVER_ERROR);
            } finally {
                // 完成异步请求，释放资源
                asyncCtx.complete();
            }
        });
    }
}

这种方式下，Tomcat的请求线程会立刻返回线程池，不用等长任务结束。

3. 长请求限流 #

限制同时处理的长请求数量，避免超出系统承载：

• 可以用计数器或者限流组件控制并发数：

private final RateLimiter rateLimiter = RateLimiter.create(4); // 限制每秒处理4个长请求

@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws IOException {
    if (!rateLimiter.tryAcquire()) {
        resp.setStatus(HttpServletResponse.SC_TOO_MANY_REQUESTS);
        resp.getWriter().write("当前长请求过多，请稍后重试");
        return;
    }
    // 执行长任务逻辑
}

超过限制的请求直接返回429状态码，避免占用线程资源。

4. 优化长请求本身 #

从根源减少长请求的耗时或资源占用：

• 如果是等待外部资源（如数据库、第三方接口），改用异步IO替代同步等待，比如用CompletableFuture处理异步调用；
• 如果是计算密集型任务，拆分任务后用消息队列异步执行，客户端通过轮询或WebSocket接收结果，而非一直占用请求线程；
• 对重复请求的结果做缓存，避免重复执行耗时操作。

5. Tomcat参数调优（辅助方案） #

调整Tomcat的连接参数，缓解线程池满后的压力：

• maxConnections：设置Tomcat能处理的最大连接数，超过后会暂时挂起；
• acceptCount：设置等待队列的大小，当线程池满时，新请求会进入队列等待，而不是直接拒绝。

内容的提问来源于stack exchange，提问作者poshtarenko