如何在Dask DataFrame.iterrows中显示完整循环进度条

问题 #

使用Dask DataFrame的iterrows()迭代行时，ProgressBar仅能显示第一个数据块的执行进度，无法覆盖整个循环的所有行。

原因 #

Dask的iterrows()是按**数据块（partition）**迭代的，每个块对应一个独立的Dask任务。默认的ProgressBar仅监控单个任务的执行，不会追踪跨块的完整迭代流程。此外，iterrows()是逐行处理，本身不符合Dask的并行优化理念，效率较低。

解决方案 #

方案1：用tqdm监控完整逐行循环 #

如果必须逐行处理，可以结合tqdm和Dask的总行数统计，手动包裹整个循环：

import dask.array as da
import dask.dataframe as dd
from tqdm.auto import tqdm

# 创建测试数据
data = da.ones((10000, 1))
df = dd.from_dask_array(data, columns=['value'])

# 预计算总行数（会触发一次轻量计算）
total_rows = df.shape[0].compute()

# 用tqdm监控整个迭代过程
for i, row in tqdm(df.iterrows(), total=total_rows):
    process(row)

方案2：用map_partitions()批量处理（推荐） #

更符合Dask并行特性的方式是用map_partitions()批量处理每个数据块，此时ProgressBar会显示所有分区的处理进度，覆盖整个任务流程：

import dask.array as da
import dask.dataframe as dd
from dask.diagnostics import ProgressBar

# 创建测试数据
data = da.ones((10000, 1))
df = dd.from_dask_array(data, columns=['value'])

# 定义针对单个分区的批量处理函数
def process_partition(partition):
    for _, row in partition.iterrows():
        process(row)

# 用map_partitions分发任务，ProgressBar监控全局进度
with ProgressBar():
    df.map_partitions(process_partition).compute()

说明 #

• 方案2的效率远高于逐行迭代，因为Dask会并行处理多个数据块，适合大规模数据集。
• 方案1中的df.shape[0].compute()会触发一次计算获取总行数，对于超大型数据集，可改用df.npartitions结合单分区长度估算总规模，避免全量计算开销。

内容的提问来源于stack exchange，提问作者Pally Zaki