如何在Pandas中为分组缺失类别的行批量补全并设值为0？

这问题我太懂了！百万级数据集用循环迭代完全是自讨苦吃，必须用矢量化操作才能搞定，给你一套高效的解决方案：

核心思路 #

先构建出所有应该存在的行的模板（每个user1-user2组合都包含cat 0、1、2），再和原数据做左连接，最后把缺失的数值填充为0，全程都是Pandas底层优化的矢量化操作，速度拉满。

具体代码实现 #

import pandas as pd

# 1. 提取所有唯一的user1-user2组合
user_pairs = df[['user1', 'user2']].drop_duplicates()

# 2. 生成包含所有目标cat值的数据集
full_cats = pd.DataFrame({'cat': [0, 1, 2]})

# 3. 交叉连接得到完整的行模板（每个用户组合对应所有cat值）
# 用临时key实现交叉连接
user_pairs['temp_key'] = 1
full_cats['temp_key'] = 1
full_template = user_pairs.merge(full_cats, on='temp_key').drop('temp_key', axis=1)

# 4. 和原数据左连接，自动补全缺失的行
result = full_template.merge(df, on=['user1', 'user2', 'cat'], how='left')

# 5. 将缺失的数值列（quantity等）填充为0
# 自动识别非标识列（除了user1、user2、cat之外的列）
numeric_cols = result.columns.difference(['user1', 'user2', 'cat'])
result[numeric_cols] = result[numeric_cols].fillna(0)

为什么这个方案高效？ #

所有步骤都是Pandas的矢量化操作，完全避开了Python层面的循环迭代——百万级分组的情况下，这种方法比逐个分组处理快几十甚至上百倍，完全能扛住大数据量的压力。

额外说明 #

如果你的user1-user2是无向的（比如Alice-Carol和Carol-Alice算同一个分组），可以先对每组的user1和user2排序，再生成唯一组合，比如：

# 对user1和user2排序，确保无向分组唯一
user_pairs['sorted_users'] = user_pairs.apply(lambda x: tuple(sorted([x['user1'], x['user2']])), axis=1)
user_pairs = user_pairs.drop_duplicates('sorted_users').drop('sorted_users', axis=1)

内容的提问来源于stack exchange，提问作者irene