Dask临时目录修改无效及Worker调试日志无法获取问题排查

我来帮你拆解这两个头疼的问题：临时目录配置不生效，以及Debug级日志无法输出的问题。

一、临时目录未切换的排查与解决 #

你遇到的问题大概率是配置层级不对或者启动参数覆盖导致的，试试这些步骤：

1. 修正配置项的正确层级
   Dask分布式集群的worker临时目录配置项是 distributed.worker.temporary-directory，而非根级别的temporary-directory。你需要把dask.yaml里的配置调整为：

   distributed:
     worker:
       temporary-directory: "/path/to/your/new/tmp"
   

   注意要确保新目录给worker进程开放了读写权限，否则worker会自动 fallback 到系统默认的/tmp目录。

2. 启动集群时显式指定临时目录
   绕开配置文件可能的加载问题，直接在LocalCluster初始化时传入参数是最稳妥的方式：

   from dask.distributed import LocalCluster, Client
   cluster = LocalCluster(
       n_workers=1, 
       threads_per_worker=4, 
       memory_limit='10gb',
       worker_temporary_directory="/path/to/your/new/tmp"  # 直接指定目标目录
   )
   client = Client(cluster)
   

3. 验证worker实际生效的配置
   用client运行一个简单任务，直接查看worker当前的临时目录配置，确认是否真的生效：

   import dask.config
   result = client.run(lambda: dask.config.get("distributed.worker.temporary-directory"))
   print(result)
   

   如果输出还是/tmp，说明你的配置文件没被正确加载——检查一下dask.yaml的路径是否在Dask的配置搜索优先级里（顺序：当前目录 > ~/.config/dask/ > 系统默认配置）。

二、Debug日志无法输出的问题 #

你修改distributed.yaml后日志没变化，大概率是配置项路径错误，或者get_worker_logs()本身有收集限制：

1. 修正日志级别的配置项
   分布式worker的日志级别配置项是 distributed.logging.worker，而非distributed.worker: debug。正确的distributed.yaml配置应该是：

   distributed:
     logging:
       worker: debug
       # 如果想全局开启Debug日志，可以再加一行：
       # level: debug
   

2. 启动集群时直接指定日志级别
   同样，显式传入参数能避免配置加载的坑：

   cluster = LocalCluster(
       n_workers=1, 
       threads_per_worker=4, 
       memory_limit='10gb',
       log_level="debug"  # 直接指定Debug级别
   )
   

3. 绕过get_worker_logs()的限制
   client.get_worker_logs()默认可能只收集INFO及以上级别的日志，哪怕worker实际输出了Debug内容。你可以让worker把日志写入文件，直接查看文件内容：

   cluster = LocalCluster(
       n_workers=1, 
       threads_per_worker=4, 
       memory_limit='10gb',
       log_level="debug",
       worker_log_path="/path/to/your/worker-logs/"  # 指定日志存储目录
   )
   

   每个worker会在这个目录下生成单独的日志文件，打开就能看到完整的Debug级内容了。

4. 确认配置是否被覆盖
   用dask.config.get("distributed.logging.worker")检查实际生效的级别，如果还是INFO，说明你的配置被更高优先级的配置（比如环境变量、当前目录的其他配置文件）覆盖了。

内容的提问来源于stack exchange，提问作者Dustin van Weersel