如何在Dask中将groupby聚合结果列映射回原DataFrame？

错误原因 #

你遇到的ValueError是因为Dask执行groupby聚合后生成的数据集，其分区信息（divisions）是未知的，而原数据集的分区是明确的。直接尝试将聚合结果的列赋值回原DataFrame时，Dask无法确定如何对齐两个数据集的分区，因此抛出错误。

推荐解决方案：使用groupby.transform #

最简洁高效的方式是用transform方法，它会直接计算每个团队的总击杀数，并自动将结果广播到该团队的每一行数据中，无需手动处理合并和分区对齐：

import dask.dataframe as dd

# 计算每个团队的总击杀数，映射到对应玩家的行
df['total_team_kills'] = df.groupby(['match_id', 'team_id'])['player_kills'].transform('sum')

# 计算0-1之间的weights列
df['weights'] = df['player_kills'] / df['total_team_kills']

备选方案：聚合后用merge合并 #

如果你一定要先单独生成聚合数据集，可通过reset_index重置索引后，用merge方法将结果合并回原DataFrame：

import dask.dataframe as dd

# 聚合得到每个团队的总击杀数，并重命名列
total_kills = df.groupby(['match_id', 'team_id'])['player_kills'].sum().reset_index()
total_kills = total_kills.rename(columns={'player_kills': 'total_team_kills'})

# 左连接合并回原数据集
df = df.merge(total_kills, on=['match_id', 'team_id'], how='left')

# 计算weights列
df['weights'] = df['player_kills'] / df['total_team_kills']

注意事项 #

• 避免直接对聚合后的数据集进行列赋值操作，因为Dask无法处理分区未知的数据集与原数据集的对齐。
• 使用transform时，Dask会自动处理分区逻辑，性能优于手动合并。

内容的提问来源于stack exchange，提问作者Vivek Joshy