Polars未充分利用CPU：如何提升Windows环境下CPU使用率至80%-100%

你的CPU使用率仅25%，大概率是因为当前代码在单线程循环中逐个执行小任务，Polars的多线程能力没被充分激活。以下是具体优化方案：

1. 批量处理LazyFrame，避免单次循环evaluate #

不要在循环里每次单独调用collect()，而是先收集所有Lazy计算任务，再用Polars的批量接口并行执行：

import polars as pl

# 第一步：收集所有LazyFrame
lazy_tasks = []
for _ in range(4000):
    # 替换成你的实际Lazy计算逻辑
    lf = pl.scan_csv("data.csv").filter(pl.col("value") > 100).select("id", "value")
    lazy_tasks.append(lf)

# 第二步：并行执行所有任务
results = pl.collect_all(lazy_tasks)

collect_all会自动调度多线程处理所有LazyFrame，最大化CPU核心利用率。如果所有任务的输出结构一致，也可以用pl.concat(lazy_tasks).collect()合并成一个大任务执行，效率更高。

2. 强制设置Polars线程数 #

Polars默认使用全部CPU核心，但Windows环境下偶尔会出现线程池未正确初始化的情况，手动指定线程数确保充分利用：

# 设置为你的CPU核心数（比如8核就设8）
pl.set_threads(pl.cpu_count())

用print(pl.thread_count())验证线程数是否生效。

3. 合并小任务减少调度开销 #

如果每个循环内的计算任务极小，线程切换的开销会抵消并行收益。可以将多个小任务打包成批次处理：

results = []
batch_size = 100  # 根据任务大小调整批次
for i in range(0, 4000, batch_size):
    batch_tasks = []
    for _ in range(batch_size):
        lf = pl.scan_csv("data.csv").filter(...).select(...)
        batch_tasks.append(lf)
    # 批量执行当前批次
    batch_results = pl.collect_all(batch_tasks)
    results.extend(batch_results)

4. 排查单线程瓶颈 #

• 确保所有IO操作都用Polars的懒加载接口（比如scan_parquet/scan_csv），避免同步IO阻塞线程。
• 替换自定义单线程UDF：如果代码中使用了map_elements等单线程自定义函数，改用Polars内置表达式（比如pl.col().apply()是多线程的，而map_elements默认单线程）。
• 检查循环外是否有单线程阻塞逻辑（比如同步文件写入），将这类操作移到计算完成后批量处理。

内容的提问来源于stack exchange，提问作者mr_robot