Dask代码在Jupyter Notebook正常运行，转为Python文件后命令行调用出现挂起及报错问题排查

你的问题核心出在代码结构与Windows多进程机制的冲突，以及if __name__ == '__main__':的错误使用上。我们一步步拆解：

1. 为什么Jupyter里能运行，单独脚本不行？ #

Jupyter Notebook的运行环境比较特殊：每个单元格的代码是在一个已经初始化的进程中执行的，不会触发Python的模块重新导入/执行逻辑。但当你把代码保存为.py文件运行时，Windows的多进程采用spawn模式——启动子进程时会重新导入整个脚本，这就触发了一系列问题：

问题1：UnboundLocalError #

你把if __name__ == '__main__':放在了函数A内部。当Dask启动子进程时，子进程会重新执行脚本并调用函数A，但此时子进程的__name__不是__main__，所以不会进入这个判断块，result变量根本没被赋值，直接return就抛出了UnboundLocalError。

问题2：循环导入与无限挂起 #

Windows的spawn模式在启动子进程时需要导入multiprocessing的相关模块，而你的代码在函数内部嵌套启动Dask集群，导致子进程启动时又尝试初始化集群，触发了multiprocessing模块的循环导入（popen_spawn_win32无法导入Popen），最终导致进程挂起、报错循环输出。

2. 修正后的代码 #

把代码结构调整为将主逻辑放在脚本最外层的if __name__ == '__main__':块中，避免子进程重复执行集群初始化代码：

import pandas as pd
import numpy as np
from dask import delayed, compute
from dask.distributed import Client, LocalCluster

def B(df):
    df['col3'] = df['col1'] + 100
    return df

def A(df):
    results_dfs = []
    df_split = np.array_split(df, 2)
    for split in df_split:
        results_dfs.append(delayed(B)(split))
    result = delayed(pd.concat)(results_dfs)
    return result.compute()

if __name__ == '__main__':
    # 初始化集群和客户端只在主进程执行
    cluster = LocalCluster(n_workers=2)
    client = Client(cluster)
    
    # 主逻辑
    df = pd.DataFrame({'col1':[1,2,3,4],'col2':[5,5,5,5]})
    result = A(df)
    print(result)
    
    # 关闭资源
    client.close()
    cluster.close()

3. 关键修改点说明 #

• 把if __name__ == '__main__':移到脚本最外层：确保只有主进程会执行集群初始化、数据定义和函数调用逻辑，子进程导入脚本时不会执行这些代码，避免重复启动集群和循环导入。
• 拆分Dask逻辑：把延迟计算的定义和compute()调用留在函数A中，但集群的初始化放在主进程——Dask客户端会自动把任务分发给子进程，不需要在函数内部重复初始化集群。
• 提前导入依赖：把所有导入语句放在脚本顶部，避免在函数内部动态导入（from dask import...放在函数里会导致子进程重复导入，增加出错概率）。

这样调整后，无论是用%run -i在Jupyter中调用，还是直接在命令行运行.py文件，都能正常执行并得到预期结果。

内容的提问来源于stack exchange，提问作者mpLoNsTa