Polars DataFrame.sort()内存占用过高，求低内存替代方案

针对Polars排序时内存翻倍的问题，以下是几种内存友好、性能可接受的解决方案：

• 启用流式外部排序
  Polars 0.19.0+版本的DataFrame.sort()支持streaming=True参数，开启后会采用外部排序机制，将数据分块处理，无需一次性加载全量数据到内存，大幅降低内存峰值，仅牺牲少量性能。

import polars as pl

df = pl.read_parquet("large_dataset.parquet")
sorted_df = df.sort("sort_column", streaming=True)

• 结合Lazy API与流式收集
  使用Lazy API扫描数据集，Polars会优化执行计划，再配合collect(streaming=True)完成排序，进一步减少内存占用：

lazy_df = pl.scan_parquet("large_dataset.parquet")
sorted_df = lazy_df.sort("sort_column").collect(streaming=True)

• 手动分块排序后合并
  按业务无关的字段（如分区键）拆分数据集，分别排序后用merge_sorted合并有序块，可根据内存容量灵活控制分块大小：

# 按分区键拆分
partitions = df.partition_by("partition_key")
# 逐个分区排序
sorted_parts = [part.sort("sort_column") for part in partitions]
# 合并有序块
final_sorted_df = pl.merge_sorted(sorted_parts, by="sort_column")

• 关闭稳定排序（非必要场景）
  若无需保留相同排序键行的原始顺序，设置maintain_order=False，Polars会采用内存效率更高的排序算法：

sorted_df = df.sort("sort_column", maintain_order=False)

内容的提问来源于stack exchange，提问作者Galedon