Java ExecutorService线程池优化：并发请求取首个REST API返回结果

1. 核心优化：复用全局线程池 #

你当前最大的性能开销来自每次方法调用都新建、销毁线程池，直接将线程池提取为全局共享的单例即可，根据你最多30并发的需求，线程池参数可以如下配置：

• 核心线程数设为20~30，匹配最大并发量，避免频繁线程创建销毁
• 空闲线程存活时间设为60s，应对调用量波动
• 拒绝策略可以用CallerRunsPolicy，避免并发高峰时任务被丢弃

如果是Java 21+版本，直接用虚拟线程池Executors.newVirtualThreadPerTaskExecutor()，虚拟线程的创建/调度成本几乎可以忽略，不需要刻意池化，调用频繁的场景下性能远高于平台线程池。

2. 逻辑优化：替换轮询逻辑为ExecutorCompletionService #

你现有代码中循环轮询所有Future是否完成的逻辑会产生大量无效CPU空转，用JDK自带的ExecutorCompletionService可以直接获取最先完成的任务结果，无需自行轮询：

// 全局共享线程池，初始化一次即可
private static final ExecutorService EXECUTOR = new ThreadPoolExecutor(
    20, 30,
    60L, TimeUnit.SECONDS,
    new SynchronousQueue<>(),
    new ThreadPoolExecutor.CallerRunsPolicy()
);

public String fetchFastest(List<URL> urls) throws InterruptedException, ExecutionException {
    CompletionService<String> completionService = new ExecutorCompletionService<>(EXECUTOR);
    List<Future<String>> futures = new ArrayList<>();
    int total = urls.size();
    
    try {
        // 提交所有任务
        for (URL url : urls) {
            futures.add(completionService.submit(() -> getResponse(url)));
        }
        
        // 逐个拿最先完成的结果
        for (int i = 0; i < total; i++) {
            Future<String> completed = completionService.take();
            String result = completed.get();
            if (result != null) {
                return result;
            }
        }
        throw new RuntimeException("No response.");
    } finally {
        // 无论成功失败，取消所有未完成的任务，避免资源泄漏
        for (Future<String> future : futures) {
            future.cancel(true);
        }
    }
}

注意：因为线程池是全局共享的，不能调用shutdown/shutdownNow，只需要在拿到结果后取消所有未完成的任务即可。

3. 更高性能替代方案：异步非阻塞HTTP客户端 #

你的场景是典型的IO密集型场景，用多线程阻塞等待HTTP响应的模式资源利用率很低，切换为异步HTTP客户端（比如OkHttp异步API、AsyncHttpClient、Spring WebClient）可以实现单线程同时处理大量HTTP请求，吞吐量会提升数倍：

• 不需要维护线程池，所有IO等待都非阻塞
• 并发能力更高，相同资源下可以支撑更多的fetchFastest调用
• 可以直接通过回调/CompletableFuture的anyOf方法实现最快结果返回，逻辑更简洁

基于CompletableFuture的异步实现示例： #

// 假设getResponseAsync返回CompletableFuture<String>，由异步HTTP客户端实现
public CompletableFuture<String> fetchFastestAsync(List<URL> urls) {
    List<CompletableFuture<String>> futures = urls.stream()
        .map(this::getResponseAsync)
        // 把异常/空结果转换为异常，方便anyOf跳过失败的请求
        .map(f -> f.thenApply(result -> {
            if (result == null) throw new RuntimeException("empty response");
            return result;
        }))
        .toList();

    return CompletableFuture.anyOf(futures.toArray(new CompletableFuture[0]))
        .thenApply(res -> (String) res)
        // 所有请求都失败的处理
        .exceptionally(ex -> {
            throw new RuntimeException("No response.", ex);
        });
}

内容的提问来源于stack exchange，提问作者Hamid Mohayeji