如何查看Dask计算任务进度？Jupyter Notebook进度条实现咨询

嘿，这个需求我刚好折腾过，给你分享几个在Jupyter Notebook里用Dask处理大CSV并显示进度条的靠谱方法，亲测好用：

这是最省心的方式，Dask内置了专门适配Jupyter的进度条工具，不用额外装太多依赖。

操作步骤很简单：

1. 先导入需要的模块：

import dask.dataframe as dd
from dask.diagnostics import ProgressBar

2. 注册进度条（只需要执行一次，后续所有Dask计算都会自动显示）：

ProgressBar().register()

3. 读取CSV并统计id列：

# 重点：用usecols只加载id列，避免读取无关数据，节省内存和时间
df = dd.read_csv('your_large_file.csv', usecols=['id'])

# 如果你要统计每个id出现的次数，用value_counts
id_counts = df['id'].value_counts().compute()

# 如果你只需要所有唯一的id值，用unique()
id_unique_values = df['id'].unique().compute()

当你调用compute()触发计算时，Jupyter里就会弹出一个实时更新的进度条，能看到任务完成的百分比。

如果你习惯tqdm那种更美观的进度条样式，也可以把它和Dask结合起来用。

步骤如下：

1. 先确保安装了tqdm：pip install tqdm
2. 导入模块：

import dask.dataframe as dd
from tqdm.dask import TqdmCallback

3. 用上下文管理器包裹计算过程：

with TqdmCallback(desc="正在处理CSV文件"):
    df = dd.read_csv('your_large_file.csv', usecols=['id'], dtype={'id': 'string'})
    # 这里换成你需要的统计操作
    id_stats = df['id'].value_counts().compute()

这个方法的好处是可以自定义进度条的描述文本，样式也更符合很多人的使用习惯。

• 读取CSV时一定要用usecols指定只加载id列，4GB的CSV只读一列会快很多，内存占用也会大幅降低
• 如果知道id列的数据类型，提前用dtype参数指定（比如dtype={'id': 'int64'}或者'string'），可以避免Dask自动推断类型的开销，还能防止类型推断错误
• 如果CSV文件有很多分区，Dask会自动并行处理，进度条会显示每个分区的处理进度

内容的提问来源于stack exchange，提问作者ambigus9