如何使用Dask并行化无返回值的图像处理函数

现有代码的问题 #

• 第一版Dask实现无明显加速的原因：你在for循环内部每生成一个延迟计算对象就立刻调用compute()，本质还是串行执行逻辑——每次只提交单个任务、等任务完全执行完才会进入下一轮循环，完全没有触发Dask的并行调度能力，仅有的微小耗时差异来自Dask本身极轻量的调度开销波动。
• 第二版Dask实现仅处理1张图的原因：循环中你每次都把新生成的延迟任务赋值给同一个变量x，循环结束后x仅保存了最后一个文件名对应的处理任务，之前生成的所有任务既没有被变量引用，也没有被加入Dask任务图，调用compute()时自然只会执行最后一个任务。

正确并行实现写法 #

你需要先把所有待执行的延迟任务收集到列表中，再一次性提交给Dask调度，让框架自动构建完整任务图、分配到工作线程/进程并行执行，参考代码：

import os
from dask import delayed, compute

tasks = []
for filename in os.listdir(file_dir):
    # 生成任务对象，不立即执行
    task = delayed(crop_images_circle)(file_dir, kmeans_dir, folders_dir, filename)
    tasks.append(task)

# 一次性提交所有任务并行执行
compute(*tasks)

性能优化注意事项 #

并行收益和你的任务类型、硬件配置直接相关：

• 如果你的图像处理逻辑是CPU密集型（包含大量像素计算、矩阵运算），建议调用compute时指定进程调度器避开Python GIL限制：compute(*tasks, scheduler='processes')
• 如果逻辑是IO密集型（以磁盘读写、文件加载保存为主），使用默认的线程调度器即可，进程切换的额外开销反而会降低性能
• 正常情况下，对于100个互相独立的图像处理任务，正确实现后在N核CPU上可以获得接近N倍的耗时缩减，远高于你前两个版本的表现。

内容的提问来源于stack exchange，提问作者Sushant