Pandas多列分组聚合返回空DataFrame，是否存在处理限制？

问题背景 #

使用Pandas构建数据集，完成数据表拼接、合并操作后，执行包含27个分组列的聚合代码时，返回空DataFrame：

data.groupby(["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "aa"]).agg({"1":'sum', "2":'sum'})

已确认并非显示问题：设置pd.options.display.max_columns = 60后结果仍为空，执行data.empty返回True。

但减少分组列数时可正常返回非空聚合结果，例如以下代码均能运行：

# 前22个分组列，正常返回结果
data.groupby(["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v"]).agg({"1":'sum', "2":'sum'})

# 后5个分组列，正常返回结果
data.groupby(["w", "x", "y", "z", "aa"]).agg({"1":'sum', "2":'sum'})

尝试直接聚合整个DataFrame，结果仍为空，排除了分组列本身值的问题，现需明确Pandas聚合是否存在限制及绕过方法。

原因分析 #

Pandas本身没有明确的分组列数量硬限制，但这种多列分组返回空结果的情况，大概率是以下原因导致：

1. 分组键包含缺失值：Pandas的groupby默认会自动排除包含NaN的分组键行。当使用27个列作为分组键时，只要任意一行的任意一个分组列存在NaN，该行就会被过滤；若所有行都存在至少一个分组列的NaN，最终就会返回空DataFrame。而减少分组列时，部分行的分组键无NaN，因此能正常返回结果。
2. 极端分组组合导致隐性计算异常：当分组列过多时，可能产生远超内存承载能力的唯一分组组合，导致计算过程中隐性失败，但这种情况通常会抛出内存相关报错，而非返回空结果。

解决方法 #

1. 检查并处理分组列的缺失值 #

先排查所有分组列的缺失情况：

# 统计每个分组列的缺失值数量
data[["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "aa"]].isnull().sum()

根据业务场景选择处理方式：

• 若缺失值为无效数据，直接删除对应行：

  data = data.dropna(subset=["a", "b", ..., "aa"])
  

• 若缺失值有业务含义，用固定值填充：

  data[["a", "b", ..., "aa"]] = data[["a", "b", ..., "aa"]].fillna("UNKNOWN")
  

2. 禁用分组时排除缺失值 #

Pandas 1.1.0及以上版本支持dropna=False参数，保留包含NaN的分组键组合：

data.groupby(["a", "b", ..., "aa"], dropna=False).agg({"1":'sum', "2":'sum'})

3. 合并分组列减少维度 #

如果部分分组列存在关联，可将其合并为单个复合分组键，降低分组列数量：

# 将后5个分组列合并为一个复合键
data["combined_key"] = data[["w", "x", "y", "z", "aa"]].apply(lambda row: "_".join(map(str, row)), axis=1)
# 使用合并后的键进行分组
data.groupby(["a", "b", ..., "v", "combined_key"]).agg({"1":'sum', "2":'sum'})

内容的提问来源于stack exchange，提问作者TechnicallyANovice