需为每个线程单独处理超时，如何优化ExecutorService的使用？

你当前每次调用方法都新建SingleThreadExecutor，虽然能在超时后关闭释放资源，但频繁创建销毁线程池会带来额外开销。复用线程池是更优选择——不需要因为单个任务超时就关闭整个线程池，只需要中断单个超时任务即可，线程池本身可以持续复用。

核心思路 #

• 用类级别的ThreadPoolExecutor代替每次新建的线程池，复用线程资源
• 任务超时触发异常时，调用Future.cancel(true)中断该任务，而非关闭整个线程池
• 应用关闭时统一优雅关闭线程池，避免资源泄漏

优化后的代码实现 #

// 类级别声明线程池，可根据业务实际调整核心线程数、最大线程数等参数
private final ExecutorService downloadExecutor = new ThreadPoolExecutor(
        5, // 核心线程数
        10, // 最大线程数
        60L, TimeUnit.SECONDS, // 空闲线程存活时间
        new LinkedBlockingQueue<>(),
        Executors.defaultThreadFactory(),
        new ThreadPoolExecutor.CallerRunsPolicy() // 拒绝策略，可按需调整
);

// JVM关闭钩子：确保应用停止时线程池优雅关闭
static {
    Runtime.getRuntime().addShutdownHook(new Thread(() -> {
        downloadExecutor.shutdown();
        try {
            if (!downloadExecutor.awaitTermination(60, TimeUnit.SECONDS)) {
                downloadExecutor.shutdownNow();
            }
        } catch (InterruptedException e) {
            downloadExecutor.shutdownNow();
        }
    }));
}

public void startDownloading(DownloadInfo downloadInfo) {
    int messageSentToNextQueue = 0;
    Callable<Integer> task = () -> {
        // 注意：需确保下载方法能响应中断，比如在IO循环中检查线程中断状态
        return fileDownloader.downloadFromSourceLink(downloadInfo);
    };
    Future<Integer> future = downloadExecutor.submit(task);
    try {
        if (downloadInfo.getExtension().equals(ScraperConstant.ZIP_EXTENSION)) {
            messageSentToNextQueue = future.get(11, TimeUnit.HOURS);
        } else if (downloadInfo.getExtension().equals(ScraperConstant.HTML_EXTENSION)) {
            messageSentToNextQueue = future.get(10, TimeUnit.MINUTES);
        } else {
            messageSentToNextQueue = future.get(30, TimeUnit.MINUTES);
        }
    } catch (TimeoutException e) {
        log.error("下载超时，已中断任务: {}", downloadInfo.getSourceLink(), e);
        // 中断单个任务，true表示向任务线程发送中断信号
        future.cancel(true);
    } catch (InterruptedException e) {
        log.error("当前线程被中断", e);
        Thread.currentThread().interrupt(); // 恢复线程中断状态
    } catch (ExecutionException e) {
        log.error("下载任务执行失败", e.getCause());
    } catch (Exception e) {
        log.error("下载处理异常", e);
    }
    // 线程池无需关闭，任务完成/中断后线程会回到池内复用
}

关键注意事项 #

• 任务可中断性：future.cancel(true)仅会向任务线程发送中断信号，需要downloadFromSourceLink方法能响应中断——比如在分块下载时检查Thread.currentThread().isInterrupted()，或使用支持中断的IO操作（如NIO）。若任务不响应中断，即使调用cancel，任务可能仍会继续执行，需在业务逻辑层面做兼容。
• 线程池参数调优：根据业务并发量、任务耗时调整核心线程数、最大线程数和队列大小，避免队列积压或线程过多导致资源耗尽。
• 优雅关闭：通过JVM shutdown hook在应用停止时关闭线程池，确保正在执行的任务有机会完成或被安全中断，避免资源泄漏。

内容的提问来源于stack exchange，提问作者Noman Ellahi