Python多进程嵌套函数执行顺序异常，如何按批次串行执行子函数？

现象原因分析 #

你观察到的“所有元素先执行my_subfunction1，再统一执行my_subfunction2”的现象，大概率是输出缓冲导致的视觉错觉，而非多进程真的按子函数批量执行。此外，你的代码存在两个关键问题可能加剧这个误解：

1. 函数定义位置错误：my_main_function定义在mp.Pool创建之后，而spawn上下文的子进程会重新加载主模块，这可能导致子进程无法正确识别该函数（甚至引发报错），进而出现异常执行顺序。
2. 输出缓冲延迟：Python的标准输出默认是缓冲模式，进程的print输出不会立即显示，直到缓冲区满或进程结束才会批量刷新。这会让所有my_subfunction1的输出集中出现，之后才是my_subfunction2的输出，看起来像是按子函数批量执行，但实际每个进程是按顺序执行单个元素的三个子函数。

如果你的实际代码是分三次调用pool.map分别处理三个子函数（比如先批量处理所有元素的my_subfunction1，再用结果批量处理my_subfunction2），那确实会出现你描述的顺序问题，但从你提供的代码来看，这种情况不存在。

解决方法 #

要实现“每批次10个元素依次执行三个子函数”的需求，可按以下步骤修正代码：

1. 修正代码结构 #

将函数定义放在主逻辑之前，并把进程池相关代码放到if __name__ == '__main__':块中（spawn上下文强制要求，避免子进程重复创建池）：

import multiprocessing as mp

def my_subfunction1(arg):
    # 子函数1逻辑，示例输出加上flush=True避免缓冲
    print(f"执行sub1: {arg}", flush=True)
    return arg * 2

def my_subfunction2(res1):
    print(f"执行sub2: {res1}", flush=True)
    return res1 + 5

def my_subfunction3(res2):
    print(f"执行sub3: {res2}", flush=True)
    return res2 * 3

def my_main_function(my_args):
    # 修正参数引用错误，用传入的my_args而非arg1
    res1 = my_subfunction1(my_args)
    res2 = my_subfunction2(res1)
    res3 = my_subfunction3(res2)
    return res3

if __name__ == '__main__':
    # 构造100个待处理元素
    args = [(i,) for i in range(100)]
    with mp.get_context('spawn').Pool(processes=10) as pool:
        try:
            res = pool.starmap(my_main_function, args)
        except Exception as e:
            pool.terminate()
            raise e

2. 禁用输出缓冲 #

在子函数的print语句中添加flush=True，确保输出实时显示，你就能看到每个元素的三个子函数是依次执行的，而非批量执行。

3. 确认任务分配逻辑 #

pool.starmap会将100个任务分配给10个进程，每个进程处理10个元素（按分配顺序），每个元素在单个进程内完整执行my_main_function的三个子函数，不会出现跨元素的子函数批量执行。

内容的提问来源于stack exchange，提问作者alee_gm