Polars分组计算累积值时全None组触发PanicException问题求助

问题描述 #

在Polars中为每个分组计算累积值（如均值、唯一值数量、众数等）时，部分分组的对应列仅包含None值。无None值的列计算正常，但含全None分组的列会触发以下错误：

PanicException: called Result::unwrap() on an Err value: SchemaMisMatch(Borrowed("cannot unpack Series; data types don't match"))

示例代码：

pl_df = pl.DataFrame({'key': [1, 1, 2, 1, 2, 3, 3, 3, 2],
                      'col1': [1, 2, 1, 3, 1, 2, 3, 4, 1],
                      'col2': [1, 2, None, 3, None, None, 3, 4, None]})

# 无None值的col1计算正常
pl_df.groupby('key').agg([
    pl.col('col1').cumulative_eval(pl.element().mean()).suffix('_cummean')
]).explode(['col1_cummean'])

# 含全None分组的col2触发错误
pl_df.groupby('key').agg([
    pl.col('col2').cumulative_eval(pl.element().mean()).suffix('_cummean')
]).explode(['col2_cummean'])

尝试使用窗口函数写法仍触发相同异常：

pl_df.select(pl.col('col2').cumulative_eval(pl.element().mean()).over('key'))

期望结果：

key     col2_cummean
1       1.0
1       1.5
1       2.0
2       null
2       null
2       null
3       null
3       3.0
3       3.5

解决方案 #

问题核心是：当分组全为None时，cumulative_eval返回的Series类型会和有有效值的分组不一致（全None分组返回Null类型，有值分组返回Float64类型），导致Schema不匹配。以下是两种可行解决方法：

方法1：显式指定输出类型 #

在cumulative_eval中用cast强制统一结果类型，确保所有分组输出类型一致：

pl_df.groupby('key').agg([
    pl.col('col2')
    .cumulative_eval(pl.element().mean().cast(pl.Float64))
    .suffix('_cummean')
]).explode(['col2_cummean'])

方法2：手动构建累积逻辑（推荐） #

改用窗口函数结合cum_sum和cum_count手动计算累积均值，自然处理全None分组的Null结果：

pl_df.with_columns([
    (pl.col('col2').cum_sum().over('key') / pl.col('col2').cum_count().over('key'))
    .alias('col2_cummean')
])

针对其他累积统计量（如唯一值数量、众数），可参考相同思路：

• 累积唯一值数量：在cumulative_eval中对n_unique结果强制转换为数值类型
• 累积众数：确保全None分组返回的Null与其他分组的结果类型统一，可配合fill_null兜底处理

内容的提问来源于stack exchange，提问作者meronpan