Dask集群运行基准测试出现依赖缺失错误，集群配置存疑

看起来你碰到了Dask集群中典型的任务依赖丢失问题，结合你描述的现象和日志，我来帮你拆解原因和解决办法：

1. 主节点同时运行调度器和Worker的核心冲突 #

你观察到的“杀掉主节点Worker后任务正常”这个现象非常关键，这直接指向主节点上调度器与Worker的资源/通信冲突：

• Dask调度器需要稳定的CPU和内存资源来处理任务调度、依赖追踪和状态同步，如果和Worker共享同一节点，Worker的计算任务会抢占调度器的资源，导致调度器无法及时响应Worker的依赖请求
• 同一节点内的进程间通信偶尔会出现端口竞争或数据阻塞，使得Worker无法及时获取依赖任务的结果，最终出现日志里的“找不到依赖”报错

所以常规最佳实践是：不要在运行调度器的节点上启动Worker，除非你能严格限制Worker的资源配额，给调度器预留足够的运行空间。

2. 日志报错的具体解读 #

你看到的Worker日志：

distributed.worker - INFO - Can't find dependencies for key add-efe22746-c80b-42f1-a02d-1217928ba4ec
distributed.worker - INFO - Dependent not found: add-37c59ee3-e3ed-4643-ae13-dd96291207bd 1 . Asking scheduler

这说明Worker在执行目标任务时，找不到它需要的前置任务结果。结合你的场景，大概率是主节点调度器被Worker抢占资源，无法及时将依赖任务的完成状态同步给执行节点。

3. 针对双节点集群的正确部署方案 #

给你推荐两种可行的部署方式：

方式一：主节点仅运行调度器（推荐） #

• 主节点启动调度器：

  dask-scheduler
  

• 远程节点启动Worker，连接到主节点的调度器地址：

  dask-worker tcp://<主节点IP>:8786
  

这种方式能彻底避免调度器和Worker的资源冲突，是最稳定的配置。

方式二：主节点运行调度器+受限Worker（如果需要利用主节点资源） #

如果主节点有空闲资源要利用，启动Worker时必须限制它的资源使用，比如：

dask-worker tcp://localhost:8786 --nthreads 2 --memory-limit 4GB

根据主节点的实际硬件配置调整--nthreads（线程数）和--memory-limit（内存限制），确保给调度器预留至少1-2核CPU和2GB以上的内存。

4. 额外排查建议 #

如果调整部署后仍有问题，可以试试这些步骤：

• 检查所有节点的Dask版本是否一致，版本不匹配可能导致依赖追踪逻辑异常
• 查看调度器日志（默认路径~/.dask/），确认是否有资源不足或任务调度失败的详细报错
• 打开Dask Dashboard（默认地址http://<主节点IP>:8787），查看任务的执行状态，定位卡住的任务及其依赖链，能更精准地找到问题点

内容的提问来源于stack exchange，提问作者Aratz