Dask distributed通过client.submit/map分发脚本时输出文件未生成问题

核心根因 #

你遇到的问题本质是分布式任务的运行环境与本地执行环境完全隔离：

• 所有通过client.submit/client.map提交的任务，都运行在Dask Worker节点上，而非提交任务的登录节点
• 你现在尝试写入的results.txt操作，实际发生在Worker节点的本地磁盘，而非登录节点

具体问题拆解 #

• 写入路径不可见：你配置的local_directory="$TMPDIR"是Worker节点的本地临时目录，该路径通常仅对当前节点可见，且任务结束后会自动清理，你在登录节点自然无法访问
• 相对路径依赖问题：如果传入的script是相对路径，Worker节点无法定位到simple-function.py，且subprocess.run默认不会抛出非零退出码的异常，错误会被静默忽略
• client.map用法错误：代码中client.map(methode, *[script, str(range(10))])的写法，会把字符串"range(0, 10)"作为单个x值传入，而非迭代0-9的数值列表，任务本身就不符合预期
• 输出文件冲突：所有任务如果调度到同一个Worker上，会反复覆盖同一个results.txt，最终仅保留最后一个任务的内容

排查与修复步骤 #

按优先级依次执行：

1. 开启任务错误捕获，避免静默失败
   修改methode函数，捕获subprocess的执行输出和返回码，可通过Dask Dashboard的Worker日志页面查看任务执行情况：

   def methode(script, x):
       # 替换为你实际使用的Python解释器绝对路径，避免Worker环境不一致
       python_path = "/path/to/your/python"
       # script也需要替换为集群共享存储上的绝对路径
       result = subprocess.run(
           [python_path, script, str(x)],
           capture_output=True,
           text=True,
           check=False
       )
       # 打印日志，会输出到Worker的日志中
       print(f"Task x={x} return code: {result.returncode}")
       print(f"stdout: {result.stdout}")
       print(f"stderr: {result.stderr}")
       return result.returncode
   

2. 统一使用集群共享存储的绝对路径
   HPC集群通常会配置所有节点可访问的共享存储目录（如/home、/work等挂载路径），需将以下两类路径全部改为共享存储的绝对路径：
   • 传入的script参数（即simple-function.py的绝对路径）
   • simple-function.py中results.txt的输出路径

   禁止使用相对路径或Worker节点本地临时路径，否则文件无法在登录节点查看

3. 修正client.map的批量任务用法
   批量提交任务时，需给client.map传入可迭代的参数列表，而非字符串形式的范围：

   # 错误写法
   L = client.map(methode, *[script, str(range(10))])  
   # 正确写法：第二个参数为可迭代的x值列表
   L = client.map(methode, script, range(10))
   

4. 避免输出文件重名覆盖
   给每个任务的输出文件名加入x值标识，避免多任务写入同一文件导致覆盖：

   # 修改simple-function.py的输出逻辑
   with open(f"results_{x}.txt", 'w') as file:
       file.write(str(x) + '\n')
   

补充说明 #

你本地执行dask.compute(methode(args))能正常生成文件，是因为该任务直接在登录节点的本地环境运行，写入的是登录节点的当前目录，和分布式任务的运行环境完全独立，因此不能作为分布式任务正常运行的参考。

内容的提问来源于Stack Exchange，提问作者Mike