Polars拼接DataFrame后分类映射不一致的问题咨询

这确实是Polars的预期行为，我来给你拆解下原因，再分享两种实用的解决办法～

为什么会出现这种情况？ #

当你分别创建df_0和df_1这两个DataFrame时，它们的字符串列在后续转为Categorical类型时，是各自独立生成分类映射字典的：

• df_0里的["a","b","c"]生成的映射是 a→0、b→1、c→2
• df_1里的["c","b","a"]生成的映射是 c→0、b→1、a→2

而pl.concat()拼接DataFrame时，默认会保留每个原始DataFrame的分类元数据，不会自动统一全局的分类规则。所以当你后续转成物理索引时，就出现了同一个字符串对应不同数值的情况。

怎么解决？ #

有两种常用的方式可以实现你想要的统一映射：

方法1：提前指定全局分类规则

如果你希望按固定顺序（比如字典序）生成映射，可以先定义好全局的分类列表，在转Categorical时明确指定：

import polars as pl
import polars.selectors as cs

# 定义统一的分类顺序（这里用字典序）
global_categories = ["a", "b", "c"]

df_0 = pl.DataFrame({"strings": ["a", "b", "c"]})
df_1 = pl.DataFrame({"strings": ["c", "b", "a"]})

# 拼接后转Categorical时指定全局categories
result = pl.concat([df_0, df_1]).with_columns(
    cs.string().cast(pl.Categorical(categories=global_categories)).to_physical().name.suffix("_index")
)

print(result)

输出会完全符合你的预期：

shape: (6, 2)
┌─────────┬───────────────┐
│ strings ┆ strings_index │
│ ---     ┆ ---           │
│ str     ┆ u32           │
╞═════════╪═══════════════╡
│ a       ┆ 0             │
│ b       ┆ 1             │
│ c       ┆ 2             │
│ c       ┆ 2             │
│ b       ┆ 1             │
│ a       ┆ 0             │
└─────────┴───────────────┘

方法2：拼接后重新生成全局分类

如果不需要固定顺序，只要求同一个字符串对应同一个索引，可以先把拼接后的列转回字符串类型，再重新转为Categorical——这样Polars会基于所有数据生成统一的分类字典（默认按字典序）：

import polars as pl
import polars.selectors as cs

df_0 = pl.DataFrame({"strings": ["a", "b", "c"]})
df_1 = pl.DataFrame({"strings": ["c", "b", "a"]})

result = pl.concat([df_0, df_1]).with_columns(
    cs.string().cast(pl.Utf8).cast(pl.Categorical).to_physical().name.suffix("_index")
)

print(result)

这个方法也能得到和上面一致的输出结果。

备注：内容来源于stack exchange，提问作者user29991867