如何优化Polars延迟扫描与透视（pivot）操作性能？

你当前的问题核心是：处理大量Feather文件时，collect()后执行pivot的内存和计算开销过高，而Polars的LazyFrame本身不支持直接延迟执行pivot操作——因为pivot需要提前知道所有要生成的列名（即所有market值），但延迟加载阶段还未遍历所有文件，无法确定这些信息。

替代优化方案：提前获取market值，用GroupBy+Agg替代Pivot #

我们可以先拿到所有唯一的market值，再通过条件列构造+分组聚合的方式，把整个流程放在延迟执行链路中，避免全量数据加载后的高成本pivot操作：

1. 提前获取所有market值
   因为每个Feather文件对应唯一的market值，我们可以快速扫描每个文件提取该值（或者直接从文件名解析，效率更高）：

   market_names = []
   for path in sample_paths:
       # 快速读取单个market值，避免加载全量数据
       market = pl.read_ipc(path, columns=['market']).item()
       market_names.append(market)
       # 如果文件名直接带market信息，比如"market1.fth"，可以直接解析：
       # market = path.split('.')[0].replace('market', '')
   

2. 构造延迟执行的查询链路
   通过with_columns为每个market生成专属列，再按time分组聚合，最终得到和pivot一致的结果：

   query = (
       pl.scan_ipc(sample_paths, memory_map=False)
       .filter(some_condition)
       .select(
           pl.col('time'),
           pl.col('market'),
           pl.col('value').do_something().alias('processed_value')
       )
       # 为每个market生成对应列，匹配时取处理后的值，否则为null
       .with_columns(
           [pl.when(pl.col('market') == m).then(pl.col('processed_value')).alias(m) for m in market_names]
       )
       # 按time分组，聚合每个market列的唯一值（每个time+market组合唯一）
       .group_by('time')
       .agg([pl.col(m).first() for m in market_names])
       .collect()
   )
   

方案优势 #

• 除了提前获取market名称的步骤，整个数据处理都在延迟执行阶段完成，大幅降低内存占用——Polars会并行处理文件，且只加载必要的数据。
• group_by+agg的性能远优于全量数据加载后的pivot，Polars对分组聚合有专门的优化，尤其是在延迟执行模式下。

内容的提问来源于stack exchange，提问作者J Griffiths