Python中如何用for loop实现list的并行遍历

直接回应你的核心问题 #

• 可以完全不创建任何自定义方法实现并行遍历，只要元素的处理逻辑是可直接调用的内置/现成对象即可
• 不需要手动直接调用multithreading或multiprocessing的底层API，借助Python标准库内置的高层并发封装就能完成需求；这类封装底层会根据场景自动调用线程/进程能力，但你不需要手动管理任务创建、销毁、跨进程通信的复杂逻辑
• 并行遍历的核心是把原列表每个元素对应的处理任务，从单线程串行执行流拆成独立的并发执行单元，不需要手动拆分列表、编写调度逻辑

零自定义方法的可运行参考实现 #

以你原代码中的打印元素逻辑为例，全程不写任何def自定义方法，用Python自带的concurrent.futures模块即可实现并发执行：

适配IO类处理逻辑（比如打印、网络请求、文件读写） #

用内置线程池实现并发，线程开销极低，刚好适配你当前的打印场景：

import concurrent.futures
myList = ['A', 'B', 'C', 'D']
# 构造和原串行逻辑完全一致的打印参数列表
print_args = [f"Element = {elem}" for elem in myList]
with concurrent.futures.ThreadPoolExecutor() as executor:
    # 直接传入内置print函数，无任何自定义包装方法
    executor.map(print, print_args)

注意：因为是并发调度执行，最终的打印输出顺序不一定和原列表的串行顺序完全一致，这是并行执行的正常表现。

适配CPU密集类处理逻辑 #

如果后续你对每个元素的处理是复杂数值计算这类占CPU的任务，只需要把执行器换成进程池，就能绕开GIL限制实现真正的CPU核心级并行，代码改动极小：

import concurrent.futures
myList = ['A', 'B', 'C', 'D']
print_args = [f"Element = {elem}" for elem in myList]
if __name__ == "__main__":  # Windows环境下进程池必须加该判断避免报错
    with concurrent.futures.ProcessPoolExecutor() as executor:
        executor.map(print, print_args)

实用说明 #

很多人对并行遍历有认知误区，觉得必须手动拆分列表、手写多线程/多进程的底层创建逻辑才能实现。实际上Python 3.2以上版本自带的concurrent.futures已经把任务调度、资源回收、异常捕获的全流程封装完成，你只需要传入要执行的函数和对应参数列表，就能拿到并发执行的效果，完全不需要为了并行专门写自定义的任务包装方法。
如果你的并行需求是严格利用多个CPU核心做计算，哪怕用高层封装，底层也是基于多进程实现的，但你完全不需要手动操作multiprocessing模块的底层API。

内容的提问来源于stack exchange，提问作者RDX