如何通过Polars表达式高效获取列数据与标量值？

Polars推荐使用表达式（Expressions）避免即时执行，实现一次性批量计算。但当需要同时获取标量结果（如列均值）和衍生列（如中心化后的列）时，直接同时选择两者会导致标量被广播到每一行，造成存储冗余。

示例场景 #

import polars as pl
import numpy as np

df = pl.DataFrame({"test": np.array([0.,1,2,3,4])})

原始DataFrame：

shape: (5, 1)
┌──────┐
│ test │
│ ---  │
│ f64  │
╞══════╡
│ 0.0  │
│ 1.0  │
│ 2.0  │
│ 3.0  │
│ 4.0  │
└──────┘

直接同时选择均值和中心化列会得到广播后的结果：

mean_expr = pl.col('test').mean().alias('mean')
centered_expr = (pl.col('test') - mean_expr).alias('centered')

# 均值被广播到所有行
df.select(centered_expr, mean_expr)

输出：

shape: (5, 2)
┌──────────┬──────┐
│ centered │ mean │
│ ---      │ ---  │
│ f64      │ f64  │
╞══════════╪══════╡
│ -2.0     │ 2.0  │
│ -1.0     │ 2.0  │
│ 0.0      │ 2.0  │
│ 1.0      │ 2.0  │
│ 2.0      │ 2.0  │
└──────────┴──────┘

解决方案 #

方法1：一次性计算后分别提取

通过select一次性执行所有表达式，再从结果中单独提取标量值（仅取第一行即可），既保留批量计算效率，又避免冗余存储：

# 一次性计算所有结果
result = df.select(centered_expr, mean_expr)

# 获取中心化列
centered_col = result['centered']

# 获取均值标量
mean_scalar = result['mean'][0]

方法2：分步骤执行，利用Polars查询优化

先通过with_columns添加衍生列，再单独查询标量。Polars会自动优化执行计划，不会重复计算均值：

# 添加中心化列（延迟执行）
df_with_centered = df.with_columns(centered_expr)

# 查询均值标量
mean_scalar = df_with_centered.select(mean_expr).item()

方法3：聚合标量后生成衍生列

先聚合得到标量结果（仅存储一次），再基于原数据生成衍生列，适合多标量场景：

# 聚合得到均值标量
agg_df = df.agg(mean_expr)
mean_scalar = agg_df.item()

# 生成中心化列
df_with_centered = df.with_columns(centered_expr)

关键提示 #

Polars的表达式引擎会自动复用计算结果，同一个表达式多次调用只会计算一次，无需担心重复计算的性能损耗。如果追求效率又不想存储广播后的标量列，优先选择一次性计算后提取标量的方式。

内容的提问来源于stack exchange，提问作者Felix Benning