You need to enable JavaScript to run this app. Dask分布式下如何让map_partitions/delayed任务显示进度条
优惠活动
大模型
产品
解决方案
定价
更多

Dask分布式下如何让map_partitions/delayed任务显示进度条

核心问题原因

你之前的判断是准确的:进度条失效的核心原因,是progress()函数只能追踪已经被分布式调度器托管的Future对象,你传入的Dask DataFrame、dask.delayed对象本质都是惰性的任务图抽象,不是实际提交到集群的可追踪句柄,自然拿不到任务状态更新。
你之前用client.submit()代码报错的常见原因,是直接把ddf.get_partition(i)这种惰性Dask分区对象当参数传给了submit接口——这类对象序列化后传到集群端,并不是可直接使用的pandas数据块,集群拿到参数后无法正常执行函数,就会触发报错。

适配map_partitions/Delayed任务的正确进度条用法

所有方法都不需要改动你原本的任务编写逻辑,只需要调整任务提交、进度条绑定的时机即可,不用强制改成client.submit的写法:

1. map_partitions任务的进度条实现

和你原本写的惰性任务链完全保持一致,只需要把任务提交到集群拿到真正的Future对象后,再绑定进度条:

import dask.dataframe as dd
from distributed import Client
from distributed.diagnostics.progressbar import progress

client = Client("tcp://你的调度器地址")

# 这部分代码和你原本的逻辑完全一致,不需要修改
ddf = dd.read_parquet("你的数据路径")
ddf = ddf.map_partitions(你的自定义处理函数)

# 替换你之前写的 progress(ddf) + dask.compute(ddf) 逻辑
future = client.compute(ddf)  # 提交任务到集群,返回可追踪的Future对象
progress(future)  # 此时进度条会正常统计总任务数、已完成任务数
result = future.result()  # 等待执行完成后拿取最终结果

2. dask.delayed任务的进度条实现

同样不需要把delayed对象直接传给progress(),先批量提交拿到Future列表再绑定进度条:

import dask
import time
import numpy as np
import pandas as pd
import dask.dataframe as dd
from distributed import Client
from distributed.diagnostics.progressbar import progress

client = Client("tcp://10.0.2.15:8786")

def wait(df):
    print("Received chunk")
    time.sleep(2)
    print("finish")

df = pd.DataFrame(np.random.randint(0, 100, size=(1000, 4)), columns=list('ABCD'))
ddf = dd.from_pandas(df, npartitions=4)

# 构建惰性delayed任务的逻辑和你之前写的一致,注意拼写:dask.delayed 不是 deplayed
delayed_tasks = [dask.delayed(wait)(ddf.get_partition(i)) for i in range(ddf.npartitions)]

# 之前的错误写法:progress(delayed_tasks)
# 正确流程:
futures = client.compute(delayed_tasks)  # 批量提交delayed任务,返回Future列表
progress(futures)
results = client.gather(futures)  # 收集所有任务的返回结果
常见注意事项
  • progress()函数本身不负责提交任务,只负责订阅已提交任务的状态做可视化统计,如果传入的是未提交的惰性Dask对象,它会在本地临时起一个调度器跑任务,和你连接的分布式集群完全隔离,就会出现进度条不更新、和实际任务进度不匹配的问题。
  • 如果你希望保留原生dask.compute()的写法,可以在调用时设置异步返回模式,拿到Future对象后再绑定进度条:
    futures = dask.compute(*delayed_tasks, sync=False)
    progress(futures)
    
  • 之前用client.submit()的写法不需要强制使用,只有当你需要精细控制每个任务的优先级、资源绑定、取消逻辑时才需要,常规的map_partitions、delayed任务用client.compute()提交完全可以拿到可追踪的Future对象,不需要改原有代码结构。

内容的提问来源于stack exchange,提问作者Giannis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 21:06:06