Polars DataFrame中[]索引与Expression API的区别及适用场景

核心区别 #

1. 执行方式

• 方括号[]：立即执行操作，调用时直接计算并返回结果（比如df["a"]直接返回Series，df[df["b"]>2]直接返回过滤后的DataFrame），每一步操作都会单独遍历数据。
• Expression API：默认采用延迟执行（Lazy模式），调用select/filter等方法时仅构建查询计划，直到调用.collect()才会执行。Polars会对整个计划做优化（如谓词下推、列裁剪），仅遍历数据一次完成所有操作。

2. 功能边界

• 方括号[]：仅支持基础操作——单列/多列选择、基于布尔序列的行过滤，无法直接完成复杂的列转换、聚合、条件逻辑等操作。
• Expression API：支持复杂的表达式组合，比如列计算（pl.col("b")*2）、条件分支（pl.when(pl.col("a")=="a").then(0).otherwise(1)）、分组聚合（pl.group_by("a").agg(pl.sum("b"))），还能链式调用多个操作。

3. 性能表现

• 方括号[]：多步操作时会重复遍历数据集，在大数据量场景下性能劣势明显。
• Expression API：借助查询优化，能大幅减少计算开销，大数据集下性能提升显著。

适用场景 #

用方括号[]的场景

• 交互式快速验证：比如在Jupyter中临时查看某列数据、做简单过滤，即时获取结果。
• 简单基础操作：仅需单列选择或简单行过滤的场景，适合刚从Pandas转来的用户快速上手。
  示例：

import polars as pl

df = pl.DataFrame(
    {
        "a": ["a", "b", "a", "b", "b", "c"],
        "b": [2, 1, 1, 3, 2, 1],
    }
)

# 取单列
print(df["a"])
# 简单行过滤
print(df[df["b"] > 2])

用Expression API的场景

• 复杂数据处理：需要列转换、多条件过滤、聚合、分组等复杂逻辑时。
• 大数据集处理：追求性能，利用Polars的查询优化减少计算时间。
• 构建可复用流水线：可以将表达式保存为变量，组合成可复用的处理逻辑。
  示例：

# 列转换与重命名
transformed_df = df.select(
    pl.col("a"),
    pl.col("b").alias("original_b"),
    (pl.col("b") * 2).alias("double_b")
).collect()
print(transformed_df)

# 链式延迟操作（过滤+聚合）
lazy_result = df.lazy()\
    .filter(pl.col("a") == "b")\
    .select(pl.sum("b").alias("sum_b_for_b"))\
    .collect()
print(lazy_result)

内容的提问来源于stack exchange，提问作者Talha Tayyab