使用Polars排序超内存自定义CSV文件时的内存问题求助

一、Polars核心配置参数调整 #

• 调整排序分区阈值：设置sort_by_partition_size参数，控制触发磁盘分区排序的内存阈值，比如pl.Config.set_sort_by_partition_size(1024*1024*100)（100MB），让Polars更早切换到磁盘排序，避免内存过载。
• 限制内存池与冗余开销：通过pl.Config.set_memory_pool_size(8*1024*1024*1024)（8GB）强制限制内存池大小，同时关闭预览数据和字符串格式化的冗余内存占用：pl.Config.set_fmt_str_lengths(0)、pl.Config.set_tbl_rows(0)。
• 强化低内存扫描模式：在scan_csv中添加low_memory=True，强制Polars以最小内存 footprint 读取数据，同时设置n_rows_preview=0彻底关闭预览行加载。

二、读取阶段的内存优化 #

• 前置无效记录过滤：不要先加载所有行再过滤，直接在扫描阶段通过字符串切片判断记录码：pl.col("raw_line").str.slice(0,2).is_in(["01","02"])，尽早排除头尾和无效记录，减少后续处理的数据量。
• 丢弃不必要的原始行：如果拆分字段后不需要保留完整原始行，直接删除raw_line列；若必须保留，将其设为Utf8类型，或考虑在排序完成后再恢复原始行（逻辑允许的前提下）。
• 按记录码分治处理：用partition_by按前两位记录码拆分LazyFrame，分别处理每个类型的字段拆分与排序，最后合并输出，单个子任务的内存压力会大幅降低。

三、排序与输出阶段优化 #

• 利用预排序特性：如果排序字段本身有一定有序性，设置sort(presort=True)，让Polars减少排序时的内存开销；避免全局反转排序结果，尽量在输出阶段处理顺序需求。
• 控制写入批大小：在sink_csv中设置batch_size=10000，减少内存中缓存的待写入数据；若不需要压缩，关闭compression参数，或选择内存占用更低的zstd压缩算法代替gzip。
• 替换全局排序为分段合并：如果业务允许，按排序字段的范围拆分文件，分别排序后直接写入，最后拼接结果，彻底规避全局排序的内存瓶颈。

四、进阶优化技巧 #

• 指定临时磁盘目录：设置pl.Config.set_temp_dir("/path/to/large-disk")，确保Polars有足够磁盘空间存储中间溢出数据，避免内存占用过高。
• 启用流处理模式：在sink_csv或collect时添加streaming=True，让Polars以流处理方式逐步处理数据，而非一次性加载全量数据到内存：lf.sink_csv("output.csv", streaming=True)。
• 优化字段内存类型：除排序字段转INT64外，其他字段尽量用最小适配类型：用UInt32替代Int64（值范围允许时），用Categorical处理高重复率字符串字段，进一步压缩内存占用。

内容的提问来源于stack exchange，提问作者João Luiz dos Reis Santos