Polars中如何对多LazyFrame执行延迟运算以避免临时帧提升性能？

核心问题解决：LazyFrame的取反与除法运算 #

LazyFrame不支持直接对整个对象做算术运算符重载（如-lpdf1或lpdf1/lpdf2），需要通过列级表达式实现批量运算，同时借助Polars的查询优化避免临时帧生成。

实现代码 #

以下两种写法均可实现-pdf1/pdf2的延迟运算，且不会生成中间临时帧：

写法1：用map遍历所有列

import polars as pl

lpdf1 = pdf1.lazy()
lpdf2 = pdf2.lazy()

# 对每一列执行 -col / lpdf2对应列 的运算
result_lpdf = lpdf1.select(
    pl.all().map(lambda col: -col / lpdf2.col(col.name))
)

result_pdf = result_lpdf.collect()

写法2：直接用表达式融合运算（更高效）

import polars as pl

lpdf1 = pdf1.lazy()
lpdf2 = pdf2.lazy()

# 融合取反与除法操作，保留原列名
result_lpdf = lpdf1.select(
    (-pl.all() / lpdf2.select(pl.all())).name.keep()
)

result_pdf = result_lpdf.collect()

性能优化建议 #

针对(283681, 93)的数据集，可通过以下方式进一步提升运算效率：

• 对齐列顺序：确保pdf1和pdf2的列名、顺序完全一致，避免列匹配时的额外开销。
• 优化数据类型：在精度允许的前提下，将浮点列转换为Float32类型，减少内存占用并加速运算：

  pdf1 = pdf1.cast(pl.Float32)
  pdf2 = pdf2.cast(pl.Float32)
  

• 利用并行计算：Polars默认启用多线程，可通过pl.Config.set_threads(None)让系统自动使用所有可用CPU核心。
• 直接扫描数据源：若数据来自磁盘文件（如Parquet/CSV），直接用pl.scan_parquet()或pl.scan_csv()创建LazyFrame，无需提前加载全量数据到内存。

原理说明 #

Polars的延迟查询优化器会将取反、除法操作融合为单个运算步骤，执行时直接计算每个元素的-a/b值，不会生成-pdf1这类中间临时DataFrame，从根源上减少内存分配与CPU开销，比pandas的即时运算更高效。

内容的提问来源于stack exchange，提问作者Mark Horvath