如何在Polars LazyFrame中高效过滤列的小写值（避免内存溢出）

原因分析 #

从执行计划能明显看出差异：

• 精确匹配时，Polars把过滤条件下推到了PyArrow的扫描阶段（执行计划中的SELECTION部分），读取数据时直接过滤符合条件的行，不会加载全量数据到内存。
• 使用str.to_lowercase()时，过滤逻辑在Polars的Python内存层执行——必须先把整列数据加载到内存，才能完成小写转换和后续过滤，这就是内存溢出的核心原因。

内存高效的解决方案 #

方案1：穷举目标值的所有大小写变体

直接把目标小写值对应的所有大小写组合列出来，用is_in匹配，这种方式能让过滤条件正常下推，内存占用可控：

target_values = ['a', 'b', 'c']
# 生成所有大小写组合
case_variants = [v.upper() for v in target_values] + target_values

lazy_df = (
    pl.scan_delta(...)
    .filter(pl.col("partition_col") == "A")
    .filter(pl.col("parname").is_in(case_variants))
    .select(*columns)
)
lazy_df.collect()

方案2：用map_batches结合PyArrow函数实现过滤下推

如果目标值的大小写组合太多无法穷举，可以用map_batches在PyArrow的批次处理阶段完成小写转换和过滤，避免加载全量数据：

import pyarrow.compute as pc

lazy_df = (
    pl.scan_delta(...)
    .filter(pl.col("partition_col") == "A")
    .map_batches(
        lambda batch: batch.filter(
            pc.is_in(pc.lower(batch["parname"]), value_set=['a', 'b', 'c'])
        ),
        # 可选：指定输出schema，提升性能
        schema=pl.schema({col: pl.col(col).dtype for col in columns})
    )
    .select(*columns)
)
lazy_df.collect()

这种方式利用PyArrow的原生字符串函数在扫描批次时直接处理过滤，数据始终以批次形式流动，不会一次性加载全量到内存。

方案3：预存小写列（长期最优方案）

如果有权限修改Delta Lake表的写入逻辑，可以在写入时新增一个parname_lower列，存储parname的小写值。之后直接基于这个列过滤，条件能完全下推，性能和内存占用都是最优的：

# 写入时预处理
write_df = df.with_columns(pl.col("parname").str.to_lowercase().alias("parname_lower"))
write_df.write_delta(...)

# 读取时直接过滤
lazy_df = (
    pl.scan_delta(...)
    .filter(pl.col("partition_col") == "A")
    .filter(pl.col("parname_lower").is_in(['a', 'b', 'c']))
    .select(*columns)
)
lazy_df.collect()

总结 #

不是必须加载整列才能执行小写转换，关键是要让过滤条件能下推到数据源的扫描阶段，避免在Polars内存层处理全量数据。上述三种方案可以根据实际场景选择。

内容的提问来源于stack exchange，提问作者Magnus Sommarsjö