Python 2.7三层嵌套循环如何实现Multiprocessing/Multithreading提速？

嘿，这个问题我太有发言权了！咱们先掰扯清楚你的情况，再给你落地的解决方案。

首先看你的循环规模：x从100到14000（约1.39万个值），y3000个，z700个，总任务量是个天文数字——近300亿次？这量级必须并行，不然这辈子都跑不完。

先确定：针对哪层循环优化？ #

答案是最外层的x循环，原因很简单：

• 并行的核心是让每个工作进程/线程拿到足够大的任务块，避免频繁的调度和参数传递开销。如果选内层z循环，每个任务太小，光是创建任务、传递参数的时间就会吃掉并行带来的收益；
• 把x的区间拆分给不同进程，每个进程负责一段x的所有y和z组合，任务块足够大，进程可以持续干活，不用来回切换。

然后看用多进程还是多线程？ #

这取决于你的operation_code是啥类型：

• 如果是CPU密集型（比如大量计算、数据处理）：必须用多进程（multiprocessing或concurrent.futures.ProcessPoolExecutor），因为Python的GIL（全局解释器锁）会限制多线程的CPU并行能力；
• 如果是IO密集型（比如读写文件、调用API、数据库操作）：用多线程（threading或concurrent.futures.ThreadPoolExecutor）更高效，因为IO等待时线程会释放GIL，其他线程可以干活，而且线程的创建开销比进程小。

落地实现代码 #

先把单个任务的逻辑封装成独立函数，这是并行的基础：

def process_single_tag(x, y, z):
    operation_tag = f"{x}-{y}-{z}"
    # 把你的operation_code和所有处理逻辑放在这里
    # 比如：
    # operation_code = calculate_something(operation_tag)
    # save_result_to_db(operation_tag, operation_code)
    # ... 其他代码 ...
    # 如果需要返回结果，就return对应的内容，不需要就pass
    pass

方案1：用multiprocessing.Pool（CPU密集首选）

import multiprocessing

def process_single_tag(x, y, z):
    operation_tag = f"{x}-{y}-{z}"
    # 你的处理逻辑
    pass

if __name__ == "__main__":
    # 用with语句自动管理进程池，不用手动关闭
    # 默认用全部CPU核心，也可以指定processes=8这样的具体数字
    with multiprocessing.Pool() as pool:
        # 用生成器表达式生成所有任务参数，避免一次性生成超大数据占满内存
        all_tasks = ((x, y, z) for x in range(100, 14000) for y in range(0, 3000) for z in range(0, 700))
        # starmap用来传递多参数的任务，map只能传单参数
        pool.starmap(process_single_tag, all_tasks)

方案2：用concurrent.futures（更简洁，支持进程/线程切换）

from concurrent.futures import ProcessPoolExecutor  # CPU密集用这个
# from concurrent.futures import ThreadPoolExecutor  # IO密集换这个

def process_single_tag(x, y, z):
    operation_tag = f"{x}-{y}-{z}"
    # 你的处理逻辑
    # 比如模拟IO等待：time.sleep(0.4)
    return operation_tag  # 可选返回结果

if __name__ == "__main__":
    # 同样可以指定max_workers设置进程/线程数
    with ProcessPoolExecutor() as executor:
        all_tasks = ((x, y, z) for x in range(100, 14000) for y in range(0, 3000) for z in range(0, 700))
        # 用map传递多参数的小技巧：拆分三个参数迭代器
        results = executor.map(
            process_single_tag,
            (t[0] for t in all_tasks),
            (t[1] for t in all_tasks),
            (t[2] for t in all_tasks)
        )
        # 如果需要处理返回结果，比如打印或保存
        for res in results:
            print(f"完成任务：{res}")

关键注意事项 #

1. 必须加if __name__ == "__main__":：这是Windows系统的硬性要求，避免子进程重复执行主代码导致的错误，Linux/macOS虽然没强制，但加上更规范；
2. 避免共享资源：如果你的处理逻辑需要访问文件、数据库连接等，不要在主进程创建后共享给子进程，最好让每个子进程自己创建连接，否则会有进程安全问题；
3. 用生成器而不是列表：你的总任务量太大，直接生成list((x,y,z)...)会瞬间占满内存，生成器是按需生成，内存友好；
4. 如果任务有返回结果：如果结果量很大，别一次性存起来，用imap_unordered（Pool）或者直接迭代executor.map的结果，边拿边处理，避免内存溢出。

内容的提问来源于stack exchange，提问作者rootameen