Linux Docker镜像中py-polars内存分配器确认及统计问题

我基于python:3.10-slim-bullseye的Linux Docker镜像，安装了Polars 0.17.13对应的polars-0.17.13-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl包。为了排查应用的内存分配情况，我原本以为Linux环境下PyPolars默认使用jemalloc分配器，于是设置环境变量MALLOC_CONF=stats_print:true、JEMALLOC_SYS_WITH_MALLOC_CONF=stats_print:true后运行应用，但进程退出时并未显示jemalloc的统计信息。之后我尝试设置mimalloc相关环境变量MIMALLOC_VERBOSE=1，却出现了mimalloc的相关日志。这让我产生困惑：原本以为Linux环境下应使用jemalloc，但当前迹象显示可能在用mimalloc。我有三个问题：

1. 如何确认当前PyPolars使用的内存分配器？
2. 若实际使用的不是jemalloc，原因是什么？
3. 若确实是jemalloc，如何使其显示统计信息？

解答 #

1. 确认当前PyPolars使用的内存分配器 #

有几种直接有效的方法：

• 检查共享库依赖：找到PyPolars安装目录下的核心扩展库（通常在site-packages/polars/_polars.cpython-310-x86_64-linux-gnu.so），用ldd命令查看其依赖的分配器库：

  ldd /path/to/your/site-packages/polars/_polars.cpython-310-x86_64-linux-gnu.so | grep -E "(jemalloc|mimalloc)"
  

  输出里如果有libjemalloc.so或libmimalloc.so，就能直接确定当前用的分配器。
• 强制触发分配器日志：针对mimalloc，设置MIMALLOC_SHOW_STATS=1后运行应用，进程正常退出时会打印统计信息；针对jemalloc，用LD_PRELOAD加载系统jemalloc库并设置MALLOC_CONF：

  LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so MALLOC_CONF=stats_print:true python your_app.py
  

  观察输出即可验证是否为jemalloc。
• 查看包编译信息：Polars官方预编译包的编译配置会决定默认分配器，你可以查看对应版本的发布说明，或者解压whl包后检查内部的依赖配置文件。

2. 实际使用mimalloc的原因 #

主要有以下几点可能：

• 版本迭代的调整：Polars在0.17.x系列的部分版本中，Linux预编译包默认分配器从jemalloc切换到了mimalloc——mimalloc在多线程场景下的内存开销和性能表现更优，官方可能基于这个原因做了切换，你用的0.17.13刚好是切换后的版本。
• 编译环境的差异：官方针对manylinux_2_17标准编译的whl包，可能默认链接了mimalloc而非jemalloc，不同的编译选项会导致分配器选择不同。
• 系统依赖缺失：如果你的Docker容器内没有安装jemalloc库，而Polars是动态链接分配器的话，会自动 fallback 到编译时指定的替代方案（比如mimalloc）。

3. 让jemalloc显示统计信息的方法 #

如果确认确实在用jemalloc，按以下步骤操作：

• 确保jemalloc被正确加载：如果Polars是动态链接jemalloc，需要先在容器内安装jemalloc包（apt install -y libjemalloc-dev），然后通过LD_PRELOAD强制加载：

  LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so MALLOC_CONF=stats_print:true python your_app.py
  

• 修正环境变量设置：JEMALLOC_SYS_WITH_MALLOC_CONF是编译阶段的配置参数，运行时不需要设置，只需要MALLOC_CONF=stats_print:true即可。另外，jemalloc的统计信息只有在进程正常退出（不是被强制杀死）时才会打印，确保你的应用是自然结束的。
• 验证jemalloc版本：旧版本的jemalloc可能不支持stats_print:true选项，确保使用的是5.x及以上的版本，apt安装的通常是较新版本。

内容的提问来源于stack exchange，提问作者Julien