Dask与Pandas计算结果不一致，求使用问题排查

核心问题 #

你遇到的结果差异，本质是两次调用df.compute()时生成的不是同一批随机数据。dask.datasets.timeseries()是动态生成随机时序数据的函数，每次触发计算（包括Dask分组聚合后的compute()，以及单独的df.compute()转Pandas）都会重新生成新的随机数据集，自然会导致分组聚合结果不同。

验证与解决方法 #

可以先把Dask数据集一次性计算为Pandas对象，固定数据后再分别用Dask和Pandas计算：

import dask
import pandas as pd

# 先生成并固定随机数据
df = dask.datasets.timeseries()
fixed_df = df.compute()  # 只生成一次随机数据

# Dask基于固定数据计算
dask_result = dask.dataframe.from_pandas(fixed_df, npartitions=2).groupby("name").aggregate({"x": "sum", "y": "max"}).compute()

# Pandas基于同一批数据计算
pandas_result = fixed_df.groupby("name").aggregate({"x": "sum", "y": "max"})

# 对比结果，会输出True
print(dask_result.equals(pandas_result))

关键说明 #

• dask.datasets.timeseries()的随机性是设计特性，用于快速生成测试数据，每次计算都会重新采样。
• 若要保证Dask和Pandas使用同一批数据，必须先将Dask数据集一次性计算为内存中的Pandas对象，再基于该对象进行后续操作。

内容的提问来源于stack exchange，提问作者lagrangian_headache