解决在导入外部文件函数中使用concurrent futures并行计算的BrokenProcessPool错误

报错原因 #

你的问题核心是嵌套函数无法跨进程序列化。ProcessPoolExecutor创建子进程时，需要将任务函数和参数序列化后传递给子进程，但你定义的f是嵌套在g内部的函数：当子进程启动并重新导入scratch_tests模块时，并不会执行g函数，因此无法获取f的定义，导致序列化失败，子进程异常终止，最终触发BrokenProcessPool错误。

原则性处理方案 #

1. 将任务函数移到模块顶层 #

把需要并行执行的函数放到模块的顶层作用域，让子进程能通过导入模块直接访问到，这是最直接的解决方案：
修改scratch_tests.py：

import concurrent.futures

# 把任务函数f放到模块顶层
def f(x):
    return x**2

def g():
    print(__name__)

    with concurrent.futures.ProcessPoolExecutor() as executor:
        t = executor.submit(f, 2)
    return t.result()

2. 用可序列化的结构封装动态逻辑 #

如果业务要求必须在函数内生成任务逻辑，可以使用类或functools.partial等可被序列化的结构封装：

import concurrent.futures

class SquareCalculator:
    def __call__(self, x):
        return x**2

def g():
    print(__name__)
    # 实例化可序列化的计算类
    calc = SquareCalculator()
    
    with concurrent.futures.ProcessPoolExecutor() as executor:
        t = executor.submit(calc, 2)
    return t.result()

3. 正确添加主入口防护 #

如果模块既可能被导入也可能直接运行，必须保留if __name__ == '__main__':防护，避免子进程重复执行主逻辑：
在scratch_tests.py末尾添加：

if __name__ == '__main__':
    # 直接运行模块时执行的逻辑
    print(g())

4. IO密集型任务改用线程池 #

如果你的任务是IO密集型（如网络请求、文件读写），可以用ThreadPoolExecutor替代ProcessPoolExecutor。线程池共享进程地址空间，无需序列化函数，嵌套函数也能正常执行：

import concurrent.futures

def g():
    print(__name__)

    def f(x):
        return x**2

    with concurrent.futures.ThreadPoolExecutor() as executor:
        t = executor.submit(f, 2)
    return t.result()

注意：线程池受GIL限制，无法加速CPU密集型任务。

内容的提问来源于stack exchange，提问作者guyguyguy12345