编译工具使用joblib.Parallel与delayed出现多实例及并行失效问题求助

核心原因 #

编译后的可执行文件（如PyInstaller打包产物）在Windows环境下，multiprocessing（joblib底层依赖）采用spawn模式启动子进程时，会重新执行整个可执行文件的代码，而非直接加载目标模块。如果主程序未做入口逻辑保护，子进程会重复启动完整工具实例，而非执行指定的子任务。

具体解决方案 #

1. 给主程序添加入口保护 #

将所有主流程代码放入if __name__ == '__main__':块内，避免子进程启动时重复执行主逻辑：

import math
import multiprocessing
from joblib import Parallel, delayed
# 导入其他依赖模块...

def main():
    cpu_limit = 0.5
    nb_cpu = min(
        math.floor(multiprocessing.cpu_count() * cpu_limit), len(turb)
    )
    raw_input = data.Site_SCADA()
    with joblib_progress("Load and prepare SCADA", total=len(turb)):
        temp = Parallel(n_jobs=nb_cpu, prefer="processes", backend="loky")(
            delayed(raw_input.load_raw_input)(
                conditions,
                ddf,
                scada_type,
                index,
                label,
            )
            for index in turb
        )
    # 后续业务逻辑...

if __name__ == '__main__':
    # 适配编译环境的多进程启动支持
    multiprocessing.freeze_support()
    multiprocessing.set_start_method('spawn')
    main()

2. 显式指定joblib后端为loky #

joblib默认使用loky作为多进程后端，编译后显式指定backend="loky"可避免自动选择后端时的兼容性问题。

3. PyInstaller打包补充配置 #

若使用PyInstaller打包，需在打包命令中添加隐藏依赖声明，确保loky组件被正确打包：

pyinstaller your_script.py --hidden-import loky.backends.context

替代方案（无需切换到multiprocessing） #

如果数据加载属于IO密集型任务，可改用线程模式替代进程模式，避免多进程启动的兼容性问题：

temp = Parallel(n_jobs=nb_cpu, prefer="threads")(
    delayed(raw_input.load_raw_input)(
        conditions,
        ddf,
        scada_type,
        index,
        label,
    )
    for index in turb
)

内容的提问来源于stack exchange，提问作者Ryderc