如何在Dask DataFrame中不使用groupby实现多聚合操作？

方法1：利用apply结合Pandas的agg实现全局聚合 #

如果需要全局列级的多聚合统计（比如全表的min/max/mean等），可以先让每个分区计算各自的统计量，再根据聚合函数的性质对分区结果做二次汇总，全程保持Dask操作：

import dask.dataframe as dd
import pandas as pd

# 示例Dask DataFrame
df = dd.from_pandas(pd.DataFrame({'a': [1,2,3,4,5], 'b': [6,7,8,9,10]}), npartitions=2)

# 定义分区内的聚合逻辑
def partition_agg(df_part):
    return df_part.agg({'a': ['min', 'max', 'mean'], 'b': ['min', 'sum']})

# 定义元数据结构（Dask需要明确返回格式）
meta = pd.DataFrame(
    columns=pd.MultiIndex.from_tuples([('a','min'), ('a','max'), ('a','mean'), ('b','min'), ('b','sum')]),
    dtype='float64'
)

# 计算分区聚合结果（保持Dask对象）
partition_dask = df.apply(partition_agg, meta=meta)

# 根据聚合类型做全局汇总：min取分区min的最小值，sum取分区sum的总和，mean需加权计算
final_agg = dd.DataFrame({
    ('a','min'): partition_dask[('a','min')].min(),
    ('a','max'): partition_dask[('a','max')].max(),
    ('a','mean'): (partition_dask[('a','mean')] * df.map_partitions(len)).sum() / len(df),
    ('b','min'): partition_dask[('b','min')].min(),
    ('b','sum'): partition_dask[('b','sum')].sum()
}).reset_index(drop=True)

方法2：优化虚拟列GroupBy的结果格式 #

你之前的虚拟列思路可行，只需调整聚合后的索引和列结构即可解决转置/堆叠问题：

# 添加全局唯一虚拟列
df['dummy'] = 0

# 聚合时禁用行索引多层级，后续展平列名
agg_df = df.groupby('dummy', as_index=False).agg({
    'a': ['min', 'max'],
    'b': ['mean', 'sum']
})

# 展平多索引列，生成如`a_min`的简洁列名
agg_df.columns = ['_'.join(col) for col in agg_df.columns]

# 现在可正常执行转置、堆叠操作
transposed_df = agg_df.T
stacked_df = agg_df.stack()

方法3：手动定义聚合计算并合并 #

针对聚合需求简单的场景，直接为每个列的每个聚合函数生成独立计算，再合并为最终Dask DataFrame：

# 逐个定义聚合计算
a_min = df['a'].min().to_frame(name=('a', 'min'))
a_max = df['a'].max().to_frame(name=('a', 'max'))
b_mean = df['b'].mean().to_frame(name=('b', 'mean'))
b_sum = df['b'].sum().to_frame(name=('b', 'sum'))

# 合并所有聚合结果
final_df = dd.concat([a_min, a_max, b_mean, b_sum], axis=1).reset_index(drop=True)

# 直接转置操作
transposed_final = final_df.T

内容的提问来源于stack exchange，提问作者Carlos Troncoso