Dask本地集群初始化耗时过长无法完成，寻求问题原因及解决方法

我第一次尝试使用Dask，几周前还能正常运行，但现在无法启动LocalCluster，有时候等了30分钟都没完成。有没有人知道问题可能出在哪？我运行的代码如下，卡在LocalCluster那一行过不去：

import dask.dataframe as dd
from dask.distributed import LocalCluster, Client
from dask.diagnostics import ResourceProfiler
import multiprocessing as mp
import time
from globals import * # 自定义全局变量文件

cluster = LocalCluster(n_workers=int(0.9 * mp.cpu_count()), processes=True, threads_per_worker=1, memory_limit="2GB")
print(cluster)
client = Client(cluster)
print(client.dashboard_link)

我来给你几个实用的排查方向，你可以挨个试试：

• 先清掉系统多余负载：启动集群时如果CPU、内存已经被其他程序占满，资源竞争肯定会拖慢甚至卡住初始化。你设置用了90%的CPU核心，要是此时有浏览器、视频剪辑这类大程序在跑，先关掉它们再重试。
• 简化配置定位模式问题：你开了processes=True多进程模式，有时候子进程初始化时碰到依赖冲突、权限问题就会悄咪咪卡着。可以先把n_workers改成1，processes=False换成线程模式试试，要是能正常启动，那大概率是多进程环境的锅。
• 杀掉残留的Dask僵尸进程：之前你强行中断过集群，很可能有没关干净的worker进程占着资源或端口。Windows开任务管理器找带dask、python的进程杀掉，Linux/macOS就用ps aux | grep dask过滤后杀掉，清完再启动。
• 先去掉内存限制试试：你设置了memory_limit="2GB"，要是系统总内存本身就小，或者这个数值和实际可用内存不匹配，也可能出问题。先把这个参数删掉用默认值，或者根据自己机器的实际内存调整后再试。
• 排查自定义globals文件的影响：你导入了from globals import *，这个自定义文件里的全局变量会不会在进程启动时触发了耗时操作，或者有初始化bug？先注释掉这一行，用干净的环境测集群能不能起来。

另外，还可以给LocalCluster加个log_level='info'参数，这样能看到启动时的详细日志，直接定位卡在哪一步了，排查起来更高效。

备注：内容来源于stack exchange，提问作者MKJ