固定结构Python项目中，非__main__模块如何使用ProcessPoolExecutor？

核心原因 #

ProcessPoolExecutor的子进程启动时会重新导入主模块（main.py），如果主模块的入口逻辑未做保护，子进程会重复执行启动代码，引发进程池冲突崩溃；另外，多进程间传递的任务函数必须能被pickle序列化，否则也会导致进程异常终止。

解决方案（不改变项目结构） #

1. 给main.py入口代码加if __name__ == '__main__':保护 #

这是解决问题的核心步骤，防止子进程重复执行主模块的启动逻辑：

# main.py
from execute import run_execute

# 所有启动相关的代码必须放在这个判断块内
if __name__ == '__main__':
    run_execute()

2. 调整helper.py的进程池使用方式 #

避免在全局作用域初始化进程池，改为在func内部创建；同时确保计算任务是可序列化的纯函数：

# helper.py
from concurrent.futures import ProcessPoolExecutor
import os

# 抽离出纯计算任务，确保无状态、可序列化
def core_calc(num):
    result = 0
    for i in range(num):
        result += i ** 2
    return result

def func(inputs):
    # 在函数内部创建进程池，避免全局对象序列化问题
    # 可通过max_workers指定进程数，建议设为CPU核心数
    with ProcessPoolExecutor(max_workers=os.cpu_count()) as executor:
        results = list(executor.map(core_calc, inputs))
    return results

3. 保持execute.py的调用逻辑简洁 #

确保execute.py仅负责层级调用，不引入不可序列化的依赖：

# execute.py
from helper import func

def run_execute():
    # 示例计算输入
    calc_inputs = [10**7, 10**7, 10**7]
    final_results = func(calc_inputs)
    print("计算完成，结果:", final_results)

为什么这样能解决问题 #

• if __name__ == '__main__':会阻止子进程执行主模块的入口代码，避免重复初始化进程池或执行冗余逻辑，从根源避免进程池启动冲突。
• 在func内部创建进程池，避免全局作用域的对象序列化问题，子进程导入helper.py时不会提前初始化进程池，而是在调用func时才创建。
• 纯计算任务core_calc无状态、不依赖不可序列化对象，确保多进程间能正常传递任务和返回结果。

额外注意事项 #

• 如果func依赖其他模块的对象，必须确保这些对象支持pickle序列化（比如避免依赖文件句柄、未实现__getstate__的自定义类实例）。
• 不要在进程池中嵌套创建进程池，否则会导致资源耗尽或进程异常。

内容的提问来源于stack exchange，提问作者Aviraj Bevli