Linux下PyInstaller打包含Dask集群的Python程序引发多进程爆炸求助

我之前也踩过这个坑！在Linux环境用PyInstaller打包带LocalCluster(processes=True)的Dask程序时，确实会出现进程无限创建的“爆炸”情况——Windows用freeze_support()能搞定，但Linux的机制不一样，得换个思路解决。

问题根源 #

Linux下PyInstaller打包的可执行文件启动子进程时，会重新跑一遍整个主程序的代码。而Dask的多进程集群创建子进程后，这些子进程又会重复执行主程序里的集群初始化逻辑，直接陷入无限递归创建进程的死循环，这就是你看到的“爆炸”现象。Windows的freeze_support()是专门适配Windows多进程打包的特殊处理，Linux不需要这个，得手动区分主进程和子进程的执行逻辑。

实操解决方案 #

直接上可落地的代码修改步骤：

1. 在你的主程序入口处，添加环境变量判断，让只有主进程才初始化Dask集群并执行核心业务，子进程只做Dask工作进程的本职工作，不重复创建集群。
2. 示例代码修改如下：

   import os
   from dask.distributed import Client, LocalCluster
   
   def run_business_logic():
       # 这里放你的核心业务代码
       cluster = LocalCluster(processes=True)
       client = Client(cluster)
       
       # 举个简单例子：提交一个任务
       def add(a, b):
           return a + b
       future = client.submit(add, 1, 2)
       print(f"任务结果：{future.result()}")
       
       client.close()
       cluster.close()
   
   if __name__ == "__main__":
       # 关键判断：Dask工作进程会自动设置DASK_WORKER_NAME环境变量
       if not os.environ.get('DASK_WORKER_NAME'):
           # 只有主进程才执行核心逻辑
           run_business_logic()
       else:
           # 子进程啥也不用干，Dask会自动接管
           pass
   

3. 重新用PyInstaller打包，比如用单文件模式：

   pyinstaller --onefile your_script.py
   

额外说明 #

• 这个方法的核心是利用Dask创建工作进程时自动设置的DASK_WORKER_NAME环境变量来区分进程角色，如果你用的Dask版本比较老，这个环境变量名可能不一样，可以临时在子进程里打印os.environ来确认具体变量名。
• 你用的Python3.5.5和PyInstaller3.6版本组合是兼容的，这个解决方案在该版本下完全有效。如果之后有升级空间，可以考虑把PyInstaller升到4.x以上的稳定版本，不过当前版本用这个方法足够解决问题。

内容的提问来源于stack exchange，提问作者Ujjwal Gupta