Dask DataFrame分类数据汇总方法及相关报错解决咨询

首先得明确：Dask DataFrame的describe()方法和Pandas的实现不一样，它确实没有include参数，这就是你第一次调用报错的原因。而第二次用select_dtypes后仍然报错，是因为Dask的describe()默认只处理数值型数据逻辑，哪怕你筛选出分类列，它内部还是会尝试按数值列的统计逻辑去处理，自然就报错了。

下面给你两种可行的解决方案，根据你的数据规模选择：

方案一：手动计算分类列统计量（适合大数据量） #

因为Dask暂时不支持自动汇总分类列，我们可以手动计算分类列常用的统计指标（count、unique、top、freq），这种方法不需要把全量数据加载到内存，适合大数据场景：

1. 先筛选出所有分类列：

cat_df = df.select_dtypes(include=['category'])

2. 定义一个函数，计算单个分类列的统计信息：

import pandas as pd

def get_category_stats(col):
    # 计算非空值数量
    count = col.count().compute()
    # 计算唯一值数量
    unique = col.nunique().compute()
    # 获取出现次数最多的类别（top）
    if unique > 0:
        top = col.mode().compute().iloc[0]
        # 获取top的出现频率
        freq = col.value_counts().compute().iloc[0]
    else:
        top = None
        freq = 0
    return pd.Series([count, unique, top, freq], index=['count', 'unique', 'top', 'freq'])

3. 遍历所有分类列，收集统计结果并整理成DataFrame：

stats_results = {}
for col_name in cat_df.columns:
    stats_results[col_name] = get_category_stats(cat_df[col_name])

# 转置结果，让每一行对应一个分类列
final_stats = pd.DataFrame(stats_results).T
print(final_stats)

方案二：转换为Pandas DataFrame后汇总（适合小数据量） #

如果你的数据集不大，能完全加载到内存里，直接把Dask DataFrame转换成Pandas DataFrame，然后用Pandas原生的describe(include=['category'])就可以了，简单快捷：

# 将Dask DataFrame转换为Pandas DataFrame
pdf = df.compute()
# 汇总分类列信息
category_summary = pdf.describe(include=['category'])
print(category_summary)

需要注意的是，这个方法只适合数据量较小的场景，否则会出现内存不足的问题。

内容的提问来源于stack exchange，提问作者grześ