基于Categorical列排序Polars DataFrame时的异常问题排查

问题原因 #

核心问题出在Polars的Categorical类型在分组聚合后会丢失原自定义类别顺序，默认改用分组结果中类别的实际出现顺序：

• 案例1：qcut生成的decile是带有自定义顺序（q10→q9→…→q1）的Categorical，但group_by("decile")后，聚合结果的decile列会将类别顺序重置为数据中随机出现的顺序，此时sort("decile")按这个乱序执行，就会出现“排序失效”的现象。
• 案例2：预排序后生成decile时，数据按revenue升序排列，qcut的分箱逻辑虽按分位数执行，但你设置的标签是q10到q1（最小分位对应q10，最大对应q1），加上分组后保留了类别出现顺序（q10先出现），最终排序结果和你预期的升序（q1→q10）完全相反，看起来像是“顺序反转”。

解决办法 #

1. 显式保留Categorical的自定义排序规则 #

在qcut中添加ordered=True参数，确保生成的Categorical保留预设的类别顺序；分组后若顺序丢失，可强制重置为物理顺序：

# 案例1修正代码
df = (df.group_by("id")
      .agg(revenue=pl.sum("amount"), tot_quantity=pl.sum("quantity"))
     )
# 生成decile时指定ordered=True，锁定类别顺序
df = df.with_columns(
    pl.col("revenue").qcut(10, labels=[f'q{i}' for i in range(10, 0, -1)], ordered=True).alias("decile")
)
df = df.group_by("decile").agg(pl.col("revenue").sum(), pl.col("tot_quantity").sum())
# 强制恢复原物理排序规则后再排序
df = df.with_columns(
    pl.col("decile").cat.set_ordering("physical")
).sort("decile")

2. 手动指定排序顺序（通用方案） #

如果不想依赖Categorical的内置顺序，可直接基于自定义的标签列表排序：

# 定义你需要的排序顺序，比如q10到q1，或者q1到q10
sort_order = [f'q{i}' for i in range(10, 0, -1)]
# 通过rank方法映射到排序权重后排序
df = df.sort(pl.col("decile").cast(pl.Utf8).rank(method="dense", order_by=sort_order))

3. 修正qcut标签与分位数的对应关系（解决案例2的反转问题） #

案例2的反转本质是标签顺序和分位数逻辑不匹配，若想让q1对应最小分位、q10对应最大分位，调整labels参数即可：

# 案例2修正代码
df = (df.group_by("id")
      .agg(revenue=pl.sum("amount"), tot_quantity=pl.sum("quantity"))
     ).sort("revenue")
# 调整labels顺序，让q1对应最小分位，q10对应最大分位
df = df.with_columns(
    pl.col("revenue").qcut(10, labels=[f'q{i}' for i in range(1, 11)], ordered=True).alias("decile")
)
df = df.group_by("decile").agg(pl.col("revenue").sum(), pl.col("tot_quantity").sum()).sort("decile")

补充说明 #

Polars的Categorical默认按物理顺序（即定义时的类别顺序）排序，但分组聚合操作会重置这个顺序为数据中类别的出现顺序，因此必须显式保留或重置顺序。如果数据集不大，也可以直接将decile转为字符串类型后排序，但Categorical在大数据场景下的性能优势更明显。

内容的提问来源于stack exchange，提问作者Omar AlSuwaidi