Polars环境变量POLARS_MAX_THREADS不生效问题咨询

设置Polars环境变量POLARS_MAX_THREADS为4后，pl.threadpool_size()返回值始终为4，但执行计算操作后，进程实际线程数飙升至机器核心数（示例中为149），与预期不符。

测试代码：

import os
os.environ['POLARS_MAX_THREADS'] = '4'

from time import sleep
import psutil
import polars as pl

print(pl.threadpool_size())

df = pl.DataFrame({'a': [1,2,3],
                   'b': [4,5,6]})
df = df + 1

print(pl.threadpool_size())
print('Num threads before: {}'.format(psutil.Process().num_threads()))
sleep(1000)

输出：

4
4
Num threads before: 149

POLARS_MAX_THREADS仅控制Polars计算线程池的大小（即用于DataFrame并行计算的工作线程数），而psutil.Process().num_threads()统计的是整个Python进程的所有线程，包含大量非计算类线程：

• Python解释器的后台线程（如垃圾回收线程、I/O复用线程）
• Polars内部的辅助线程（如内存管理、异步任务调度线程）
• 其他依赖库创建的线程

这些非计算线程的数量不受POLARS_MAX_THREADS限制，因此进程总线程数会远大于设置的计算线程池大小。

1. 确认计算线程数是否符合预期
   使用性能分析工具（如py-spy）观察计算阶段的活跃线程数，或通过设置POLARS_LOG_LEVEL=debug查看Polars日志输出，计算逻辑只会使用POLARS_MAX_THREADS指定的4个线程。

2. 确保环境变量生效
   环境变量必须在导入Polars之前设置，示例代码的设置顺序是正确的；若仍有疑问，可通过pl.show_versions()查看Polars配置参数，确认max_threads是否为4。

3. 区分计算线程与进程总线程
   无需关注进程总线程数，pl.threadpool_size()返回的数值才是控制Polars计算并行度的有效参数，只要该值为4，计算阶段就不会超过4个并行工作线程。

内容的提问来源于stack exchange，提问作者Rolnan