关于Polars查询优化的疑问：如何降低优化耗时？

问题背景 #

我在Polars（v1.40.0，v1.38.1结果类似）中处理行数少但包含数百个表达式的大型惰性查询时，发现优化步骤耗时远超实际执行：通过some_lazy_query.profile()[1]分析，整体2.5秒的执行时间里，约2.2秒都消耗在初始优化阶段。

我尝试关闭所有可配置的优化标志来降低耗时，代码如下：

_opts = pl.QueryOptFlags(
    predicate_pushdown = False,
    projection_pushdown = False,
    simplify_expression = False,
    slice_pushdown = False,
    comm_subplan_elim = False,
    comm_subexpr_elim = False,
    cluster_with_columns = False,
    check_order_observe = False,
    fast_projection = False,
    sort_collapse = False
)

some_lazy_query.profile(optimizations=_opts)[1]

但优化耗时仅从2.2秒降至2.13秒，整体执行时间仍维持在2.5秒左右。已知部分Polars优化无法关闭，但对关闭所有可用标志后优化耗时几乎无变化感到困惑。

疑问 #

1. 我的操作是否正确？是否还有其他忽略的降低优化耗时的方法？
2. 关闭所有标志后，优化步骤仍在执行什么操作？
3. 对于列多但行数少、优化开销远高于查询执行耗时的场景，有哪些提速建议？

注：已知有预执行优化的功能请求，但进展缓慢，暂无法依赖。

解答 #

1. 操作正确性与额外优化控制方式 #

你的操作是正确的，已经关闭了QueryOptFlags中所有暴露的可配置优化项。目前Polars没有公开的额外开关来关闭更多优化，但可以尝试以下方式：

• 使用pl.lazy()的no_optimization=True参数：部分场景下会跳过更多高级优化，但注意这是未正式文档化的参数，后续版本可能变动。
• 拆分大型查询：将数百个表达式拆分为多个小惰性查询，分步执行后再合并结果，减少单次优化需要处理的表达式规模。

2. 关闭标志后仍在执行的操作 #

即使关闭所有可配置标志，Polars仍会执行一些基础的前置必要操作，无法通过配置关闭：

• 校验表达式语法合法性、列引用有效性
• 将用户编写的表达式转换为Polars内部的执行IR（中间表示）结构
• 绑定数据源并校验schema
• 执行基础的类型推导与转换

这些操作是查询执行的必备前提，也是优化耗时几乎未下降的核心原因。

3. 小行数多列场景的提速建议 #

核心思路是减少Polars优化阶段的计算量，具体建议：

• 切换为Eager模式：如果行数极少（如几千行以内），直接用Eager API处理，完全跳过惰性查询的优化流程。
• 合并重复表达式：手动梳理数百个表达式，合并重复计算逻辑，减少优化阶段需要处理的节点数量。
• 提前裁剪列：先用select()筛选出必要列，再构建后续表达式，减少优化阶段的列维度。
• 预计算常量表达式：将查询中的固定公式、静态映射等常量计算提前完成，再传入Polars查询，避免优化阶段重复处理。
• 尝试轻量模式：通过环境变量POLARS_LIGHTWEIGHT=1启动Polars轻量模式，减少非必要的内部检查（需测试兼容性）。

内容的提问来源于stack exchange，提问作者user30525703