如何在Polars DataFrame中生成无冲突的唯一临时列名？

我有一个用于Polars DataFrame数据清洗的自定义函数，为提升效率会在中间步骤缓存结果到临时列，最后移除这些临时列。

原函数代码：

import polars as pl

def clean_data(df, cols):
    return (
        df.with_columns(pl.mean(col).alias(f"__{col}_mean") for col in cols)
        .with_columns(
            pl.when(pl.col(col) < pl.col(f"__{col}_mean") * 3 / 4)
            .then(pl.col(f"__{col}_mean") * 3 / 4)
            .when(pl.col(col) > pl.col(f"__{col}_mean") * 5 / 4)
            .then(pl.col(f"__{col}_mean") * 5 / 4)
            .otherwise(pl.col(col))
            .alias(col)
            for col in cols
        )
        .select(pl.exclude(f"__{col}_mean" for col in cols))
    )

常规输入下运行正常：

df = pl.DataFrame(
    {
        "a": [1, 2, 3, 4, 5, 12, 28],
        "a2": [1, 2, 3, 4, 5, 6, 7],
    }
)

clean_data(df, ["a", "a2"])

输出：

shape: (7, 2)
┌──────────┬─────┐
│ a        ┆ a2  │
│ ---      ┆ --- │
│ f64      ┆ f64 │
╞══════════╪═════╡
│ 5.892857 ┆ 3.0 │
│ 5.892857 ┆ 3.0 │
│ 5.892857 ┆ 3.0 │
│ 5.892857 ┆ 4.0 │
│ 5.892857 ┆ 5.0 │
│ 9.821429 ┆ 5.0 │
│ 9.821429 ┆ 5.0 │
└──────────┴─────┘

但临时列名可能与用户输入DataFrame中已有的列名冲突，导致原有列被误删：

df = pl.DataFrame(
    {
        "a": [1, 2, 3, 4, 5, 12, 28],
        "a2": [1, 2, 3, 4, 5, 6, 7],
        "__a_mean": [1, 1, 1, 1, 1, 1, 1],
    }
)

clean_data(df, ["a", "a2"])

输出会屏蔽原始的__a_mean列，最终结果仅保留a和a2。

请问是否有方法在计算过程中添加临时列，并确保生成的临时列名不会与原始DataFrame中的列名冲突？或者，是否有方法无需缓存结果且不牺牲性能来实现上述函数？

解决方案 #

一、避免临时列名冲突的方法 #

生成唯一的临时列名（比如结合UUID前缀），确保不会与现有列名重复，最后仅移除这些生成的临时列：

import polars as pl
import uuid

def clean_data(df, cols):
    # 生成唯一临时列前缀，避免与现有列冲突
    temp_prefix = f"__temp_{uuid.uuid4().hex[:8]}_"
    temp_cols = []
    
    df_with_temp = df
    for col in cols:
        temp_col = f"{temp_prefix}{col}_mean"
        temp_cols.append(temp_col)
        df_with_temp = df_with_temp.with_columns(pl.mean(col).alias(temp_col))
    
    # 处理列值截断逻辑
    df_processed = df_with_temp.with_columns(
        pl.when(pl.col(col) < pl.col(temp_col) * 3/4)
        .then(pl.col(temp_col) * 3/4)
        .when(pl.col(col) > pl.col(temp_col) * 5/4)
        .then(pl.col(temp_col) * 5/4)
        .otherwise(pl.col(col))
        .alias(col)
        for col, temp_col in zip(cols, temp_cols)
    )
    
    # 仅移除生成的临时列，保留用户原有所有列
    return df_processed.select(pl.exclude(temp_cols))

测试冲突场景时，原始的__a_mean列会被保留，不会被误删。

二、无需临时列的高性能实现 #

Polars的查询优化器会自动缓存重复计算的表达式结果，因此可以直接将pl.mean(col)嵌入到条件表达式中，无需显式临时列，性能与原方案一致：

import polars as pl

def clean_data(df, cols):
    return df.with_columns(
        pl.when(pl.col(col) < pl.mean(col) * 3/4)
        .then(pl.mean(col) * 3/4)
        .when(pl.col(col) > pl.mean(col) * 5/4)
        .then(pl.mean(col) * 5/4)
        .otherwise(pl.col(col))
        .alias(col)
        for col in cols
    )

这个版本既避免了临时列冲突问题，又借助Polars的优化机制保证了计算效率，同时代码更简洁。

内容的提问来源于stack exchange，提问作者lebesgue