Scala执行Future列表仅前两个生效,如何让所有Future正常执行?
问题根因分析
- 核心问题1:没有等待所有异步
Future执行完成,主线程提前退出
Scala的Future默认运行在守护线程池上,只要主线程执行完毕,未完成的Future对应的守护线程会被直接销毁。你现在的代码在注册完onComplete回调后主线程就会继续向下执行,不会等待所有Future跑完,所以只会执行完已经启动的前两个任务,剩下的任务还没跑完就被终止了。 - 核心问题2:手写的
AtomicInteger计数逻辑完全无效onComplete的回调是异步触发的,主线程不会阻塞等待回调全部执行完毕,且回调内的return语句没有任何作用(onComplete要求返回值为Unit)。这个计数逻辑既不能实现等待所有任务完成的效果,还存在漏计数风险:如果任务执行失败进入Failure分支,你没有对remaining做减一操作,就算主线程等待也永远等不到计数归0。 - 潜在问题3:遍历过程可能提前报错中断
你调用了wrapper.filter(...).get(0),如果某个表对应的路径下不存在CSV文件,get(0)会直接抛出NoSuchElementException,这个异常是在主线程遍历AccountsList时抛出的,会直接中断遍历,导致后续的表连对应的Future都不会被添加到futuresBuffer中。
修复方案
- 首先替换无效的计数逻辑,使用
Future.sequence合并所有任务,再通过Await等待全部任务执行完成:
import scala.concurrent.{Await, Future} import scala.concurrent.duration._ // 你原有生成futuresBuffer的逻辑保持不变 // ... // 合并所有Future为一个总Future val allTasks = Future.sequence(futuresBuffer.toList) // 阻塞等待所有任务完成,超时时间可根据实际业务调整,示例为1小时 Await.result(allTasks, 1.hour)
- 修复不安全的
get(0)调用,避免遍历中断,可选的修改方式如下:
val csvFiles = wrapper.filter(s"/${taskInput.parquetFilePath}/$tableName/*.csv") if (csvFiles.nonEmpty) { val csvPath = csvFiles.head logger.info(s"csvPath - $csvPath") futuresBuffer += sqlBulkCopy.readCSVFile(csvPath, taskInput.sqlServerJdbcString, tableName, rmsStorageWrapper) } else { logger.warn(s"表$tableName 对应路径下未找到CSV文件,跳过导入") }
- 如果需要处理任务失败情况,可以在合并后的
allTasks上添加异常处理逻辑,或者为每个Future单独添加recover分支,避免单个任务失败导致全部任务被取消。
内容的提问来源于stack exchange,提问作者user3897533
相关产品推荐
相关产品推荐

