Polars DataFrame透视时出现'null'名称重复错误的优雅解决方案咨询

我完全理解你现在的困扰：想把长格式的Polars DataFrame转成目标宽格式，但直接用pivot时，因为A、B列的null值会生成重复的null列名，导致报错。而且你不想用先填充null再删列的繁琐办法，想要更简洁优雅的实现。

先再明确下你的需求：每个DATE占唯一一行，原始列A的每个非null值对应一个新列（比如A_option1），标记该DATE下是否存在这个选项；同样列B的每个非null值对应B_YES、B_NO这类布尔列。

你的示例数据与尝试 #

先回顾下你的示例代码：

import polars as pl

df_example = pl.DataFrame(
    {
        "DATE": ["2024-11-11", "2024-11-11", "2024-11-12", "2024-11-12", "2024-11-13"],
        "A": [None, None, "option1", "option2", None],
        "B": [None, None, "YES", "YES", "NO"],
    }
)

数据的正常展示样式（修正了原编码乱码）：

shape: (5, 3)
┌────────────┬─────────┬─────┐
│ DATE       ┆ A       ┆ B   │
│ ---        ┆ ---     ┆ --- │
│ str        ┆ str     ┆ str │
╞════════════╪═════════╪═════╡
│ 2024-11-11 ┆ null    ┆ null│
│ 2024-11-11 ┆ null    ┆ null│
│ 2024-11-12 ┆ option1 ┆ YES │
│ 2024-11-12 ┆ option2 ┆ YES │
│ 2024-11-13 ┆ null    ┆ NO  │
└────────────┴─────────┴─────┘

你尝试的透视代码：

df_example.pivot(
    index="DATE", on=["A", "B"], values=["A", "B"], aggregate_function="first"
)

触发的错误：

# DuplicateError: column with name 'null' has more than one occurrence

这个错误很合理——A、B列的null值都会生成名为null的列，自然会重复冲突。

优雅的解决方案 #

这里推荐动态生成目标列+分组聚合的方法，从根源上避开null列的生成，直接得到你想要的结果：

步骤1：提取实际存在的非null选项

先获取A、B列中真实存在的非null值，这些就是我们要生成的新列的后缀：

# 获取A列的非null唯一选项
a_options = df_example.select(pl.col("A").drop_nulls().unique()).to_series().to_list()
# 获取B列的非null唯一选项
b_options = df_example.select(pl.col("B").drop_nulls().unique()).to_series().to_list()

步骤2：生成布尔匹配表达式

为每个选项生成一个表达式，标记该行是否匹配该选项，并按原列名_选项值的规则命名新列：

exprs_a = [pl.col("A").eq(opt).alias(f"A_{opt}") for opt in a_options]
exprs_b = [pl.col("B").eq(opt).alias(f"B_{opt}") for opt in b_options]

步骤3：按DATE分组聚合

按DATE分组后，对每个布尔表达式取max——同一DATE下只要有一行匹配，就标记为True；完全没有匹配的则保留null，完美契合你的示例要求：

result = df_example.group_by("DATE").agg(exprs_a + exprs_b)

最终结果

运行后得到的result就是你想要的格式：

shape: (3, 5)
┌────────────┬────────────┬────────────┬────────┬────────┐
│ DATE       ┆ A_option1  ┆ A_option2  ┆ B_YES  ┆ B_NO   │
│ ---        ┆ ---        ┆ ---        ┆ ---    ┆ ---    │
│ str        ┆ bool       ┆ bool       ┆ bool   ┆ bool   │
╞════════════╪════════════╪════════════╪════════╪════════╡
│ 2024-11-11 ┆ null       ┆ null       ┆ null   ┆ null   │
│ 2024-11-12 ┆ true       ┆ true       ┆ true   ┆ null   │
│ 2024-11-13 ┆ null       ┆ null       ┆ null   ┆ true   │
└────────────┴────────────┴────────────┴────────┴────────┘

为什么这个方法更优雅？ #

• 完全不需要处理null值的填充或删除，从根源上避免了null列的生成
• 动态适配选项：如果后续A、B列新增了其他值，代码不需要修改，会自动生成对应的新列
• 逻辑清晰，一次聚合完成所有操作，性能也更优

备注：内容来源于stack exchange，提问作者Olivier_s_j