关闭Dask Client后如何避免取消任务并后续获取Futures结果？

当然有办法解决这个问题！我之前在做长时间仿真任务时也遇到过一模一样的需求——在Jupyter Notebook里提交任务后关掉页面，过段时间再回来取结果。下面是几个经过实践验证的靠谱方案：

默认情况下，Dask Worker是由Nanny进程管理的，当你的Client（也就是Jupyter里的连接）断开时，Nanny可能会终止Worker，导致正在运行或排队的任务被取消。要避免这种情况，我们需要启动不依附于Client的独立Worker：

1. 先单独启动Scheduler：

   dask scheduler
   

2. 然后启动Worker时加上--nanny=False参数，让Worker作为独立进程运行：

   dask worker tcp://你的调度器IP:8786 --nanny=False
   

这样Worker就不会因为Client关闭而被终止，任务会在后台持续运行。

仅仅让Worker持久化还不够，你需要把任务的Future引用保存下来，这样下次连接Client时才能找到对应的任务。

• 提交任务后，用dask.distributed.dump()把Future保存到本地文件：

  from dask.distributed import Client, dump
  
  # 连接到已经启动的Scheduler
  client = Client("tcp://你的调度器IP:8786")
  # 提交你的长时间仿真任务
  future = client.submit(你的仿真函数, 参数1, 参数2)
  # 保存Future到文件
  dump(future, "my_simulation_future.dump")
  

• 之后重新打开Jupyter或新的Python进程时，重新连接并加载Future：

  from dask.distributed import Client, load
  
  client = Client("tcp://你的调度器IP:8786")
  # 加载之前保存的Future
  future = load("my_simulation_future.dump")
  # 获取任务结果（如果任务还在运行，会自动等待完成）
  result = future.result()
  

注意：保存的Future只是任务的引用，真正的任务状态存储在Scheduler和Worker上，只要它们没停止，就能顺利取回结果。

如果你的仿真任务需要在SLURM、PBS这类集群环境运行，推荐用dask-jobqueue提交任务。它会直接把任务提交到集群的调度系统，完全独立于你的Jupyter会话：

from dask_jobqueue import SLURMCluster
from dask.distributed import Client

# 根据你的集群配置初始化Cluster
cluster = SLURMCluster(queue='normal', cores=8, memory='32GB')
# 启动指定数量的Worker
cluster.scale(4)
# 连接到集群
client = Client(cluster)

# 提交仿真任务
future = client.submit(你的仿真函数, 参数1, 参数2)

就算你关闭Jupyter，集群上的Worker会继续执行任务，之后重新连接集群就能获取结果。

• 记得给Scheduler和Worker配置好日志目录，这样任务运行中出问题时可以方便排查。
• 如果任务有中间结果，最好把结果存到外部存储（比如本地磁盘、对象存储），避免Worker意外终止导致数据丢失。
• 不要让仿真任务依赖Jupyter单元格里的临时变量，最好把仿真代码写到单独的Python模块里，确保Worker能正常导入执行。

内容的提问来源于stack exchange，提问作者sheridp