Dask分布式下如何让map_partitions/delayed任务显示进度条
核心问题原因
你之前的判断是准确的:进度条失效的核心原因,是progress()函数只能追踪已经被分布式调度器托管的Future对象,你传入的Dask DataFrame、dask.delayed对象本质都是惰性的任务图抽象,不是实际提交到集群的可追踪句柄,自然拿不到任务状态更新。
你之前用client.submit()代码报错的常见原因,是直接把ddf.get_partition(i)这种惰性Dask分区对象当参数传给了submit接口——这类对象序列化后传到集群端,并不是可直接使用的pandas数据块,集群拿到参数后无法正常执行函数,就会触发报错。
适配map_partitions/Delayed任务的正确进度条用法
所有方法都不需要改动你原本的任务编写逻辑,只需要调整任务提交、进度条绑定的时机即可,不用强制改成client.submit的写法:
1. map_partitions任务的进度条实现
和你原本写的惰性任务链完全保持一致,只需要把任务提交到集群拿到真正的Future对象后,再绑定进度条:
import dask.dataframe as dd from distributed import Client from distributed.diagnostics.progressbar import progress client = Client("tcp://你的调度器地址") # 这部分代码和你原本的逻辑完全一致,不需要修改 ddf = dd.read_parquet("你的数据路径") ddf = ddf.map_partitions(你的自定义处理函数) # 替换你之前写的 progress(ddf) + dask.compute(ddf) 逻辑 future = client.compute(ddf) # 提交任务到集群,返回可追踪的Future对象 progress(future) # 此时进度条会正常统计总任务数、已完成任务数 result = future.result() # 等待执行完成后拿取最终结果
2. dask.delayed任务的进度条实现
同样不需要把delayed对象直接传给progress(),先批量提交拿到Future列表再绑定进度条:
import dask import time import numpy as np import pandas as pd import dask.dataframe as dd from distributed import Client from distributed.diagnostics.progressbar import progress client = Client("tcp://10.0.2.15:8786") def wait(df): print("Received chunk") time.sleep(2) print("finish") df = pd.DataFrame(np.random.randint(0, 100, size=(1000, 4)), columns=list('ABCD')) ddf = dd.from_pandas(df, npartitions=4) # 构建惰性delayed任务的逻辑和你之前写的一致,注意拼写:dask.delayed 不是 deplayed delayed_tasks = [dask.delayed(wait)(ddf.get_partition(i)) for i in range(ddf.npartitions)] # 之前的错误写法:progress(delayed_tasks) # 正确流程: futures = client.compute(delayed_tasks) # 批量提交delayed任务,返回Future列表 progress(futures) results = client.gather(futures) # 收集所有任务的返回结果
常见注意事项
progress()函数本身不负责提交任务,只负责订阅已提交任务的状态做可视化统计,如果传入的是未提交的惰性Dask对象,它会在本地临时起一个调度器跑任务,和你连接的分布式集群完全隔离,就会出现进度条不更新、和实际任务进度不匹配的问题。- 如果你希望保留原生
dask.compute()的写法,可以在调用时设置异步返回模式,拿到Future对象后再绑定进度条:futures = dask.compute(*delayed_tasks, sync=False) progress(futures) - 之前用
client.submit()的写法不需要强制使用,只有当你需要精细控制每个任务的优先级、资源绑定、取消逻辑时才需要,常规的map_partitions、delayed任务用client.compute()提交完全可以拿到可追踪的Future对象,不需要改原有代码结构。
内容的提问来源于stack exchange,提问作者Giannis
相关产品推荐
相关产品推荐

