Pandas Groupby如何补全缺失的分组组合？

给定数据集：

age   income    education   usage
0   <50   <100K     highschool  10
1   <50   >100K     college     15
2   <50   <100K     highschool  20
3   >50   >100K     college     14
4   >50   >100K     highschool  30

执行聚合代码：

grouped_obj = df.groupby(['age', 'income', 'education'])['usage'].mean()

当前输出仅包含有数据的分组：

age  income  education 
<50  <100K   highschool    15
     >100K   college       15
>50  >100K   college       14
             highschool    30

期望补全所有可能的分组组合，无数据处标记为missing：

age  income  education 
<50  <100K   highschool    15
             college       missing
     >100K   college       15
             highschool    missing
>50  >100K   college       14
             highschool    30
     <100K   highschool    missing
             college       missing

实际场景涉及240万行数据与31个分组变量，缺失组合随机，需高效解决方法。

核心思路：生成全量分组索引，重新匹配聚合结果 #

利用pandas的MultiIndex.from_product生成所有分组变量的笛卡尔积组合，再将聚合结果重新索引到这个全量索引上，填充缺失值即可。

代码实现

import pandas as pd

# 定义分组变量列表
group_vars = ['age', 'income', 'education']

# 提取每个分组变量的唯一值集合
unique_values = [df[var].unique() for var in group_vars]

# 生成包含所有可能组合的完整MultiIndex
full_index = pd.MultiIndex.from_product(unique_values, names=group_vars)

# 重新索引聚合结果，缺失值填充为'missing'
full_grouped = grouped_obj.reindex(full_index, fill_value='missing')

针对大数据量与多变量的优化建议

1. 过滤无效组合：如果业务上存在变量取值互斥的情况（比如某些income和education的组合不可能出现），先手动过滤这些无效组合，减少全量索引的规模，避免内存过载。
2. 分块/分布式处理：当31个变量的笛卡尔积规模过大时，可使用Dask等分布式数据框架拆分任务，分批处理聚合与补全操作。
3. 预处理缺失值：若原始数据中分组变量存在NaN，需先根据业务逻辑填充或剔除，避免生成无意义的NaN分组组合。

内容的提问来源于stack exchange，提问作者magladde