调用ExecutorService的shutdownNow()无法终止ML预测线程如何解决

你遇到的核心问题是Java线程池的关闭、Future取消逻辑都只能给目标线程发送中断信号，无法强制终止线程，只要你的业务代码没有正确响应中断，任务就会一直后台执行，和你写的关闭逻辑本身没有关系。
具体到你的代码场景，有两个常见的触发原因：

• 你的executeEngine()方法内部、以及调用后的get()逻辑、ML模型预测的核心代码大概率是不可中断的阻塞操作：如果是JNI调用Native层的模型推理，Java层的中断信号根本无法传递到Native层；如果是Java层逻辑，大概率是你捕获了InterruptedException之后没有正确处理（只打了日志就吞掉了中断信号、没有重置中断标志位也没有终止任务执行）
• Future.cancel(true)返回true仅代表中断信号成功发送到目标线程，并不代表线程已经终止运行，你日志里看到的取消成功只是信号发送成功的提示，不是任务停止的提示。你第二段预测逻辑里的executor.shutdownNow()逻辑同理，也是仅发送中断信号，无法强制终止不响应中断的任务。

1. 修复中断响应逻辑 #

全链路检查你的预测任务代码，对所有会抛出InterruptedException的方法（包括Future.get()、阻塞队列操作、Thread.sleep()等），捕获异常后必须做以下任意一种处理，不能吞掉中断信号：

• 直接终止当前任务的执行逻辑，提前返回
• 将InterruptedException重新抛出给上层调用方
• 调用Thread.currentThread().interrupt()重置当前线程的中断标志位，留给上层逻辑判断

2. 适配不可中断的Native推理场景 #

如果你的ML预测是通过JNI调用Native层实现的，Java层的中断机制完全无效，必须用自定义逻辑控制任务终止：

• 在预测任务中增加自定义的中断标志位（用volatile修饰保证可见性），在推理的每个分片步骤前检查标志位，发现标志位为true就主动终止推理，释放资源后返回
• 如果使用的ML推理框架提供了主动终止任务的接口，超时的时候直接调用对应接口终止推理，比Java线程层面的控制更有效

3. 线程池使用优化 #

你当前每次请求都新建ExecutorService用完就销毁的方式会带来不必要的线程创建销毁开销，建议全局初始化一个配置合理的线程池复用即可。

内容的提问来源于stack exchange，提问作者Sreehari Kezhedath