Polars流式执行模式下unique函数结果不一致问题问询

在使用Polars惰性执行结合流式（streaming=True）模式时，执行sort('sltday').unique(subset=['sldoco', 'sllnid'], keep='last')逻辑后，得到的结果与非流式（streaming=False）模式存在差异。移除这部分逻辑后，两种模式的结果完全一致，且程序全程无报错，而非流式模式的结果是符合预期的正确结果。

问题原因 #

流式执行的核心是分块处理数据，无法直接支持全局依赖的操作：

• 流式模式下的sort是局部排序——仅对每个数据块内部的记录排序，而非流式模式是全局排序所有数据。
• 后续的unique(subset=['sldoco', 'sllnid'], keep='last')在流式下只能基于每个块内的排序结果保留最后一条，无法获取全局排序后的“最后一条”记录，最终导致去重结果偏差。
• 当前Polars在流式模式下不会对这类“需要全局视角才能正确执行”的操作主动报错，因为部分场景下局部处理是可接受的，但你的场景依赖全局排序结果，因此出现问题。

验证与解决建议 #

1. 验证差异来源：手动将数据拆分为多个子块，对每个子块单独执行sort+unique后合并，对比非流式模式的全局结果，即可确认差异来自局部排序与全局排序的区别。
2. 调整逻辑适配流式：如果必须使用流式处理，建议将sort+unique逻辑替换为分组聚合：

   .group_by(['sldoco', 'sllnid']).agg(pl.all().sort_by('sltday').last())
   

   分组聚合操作可以在流式模式下正确执行，因为分组逻辑可以分块处理，且能确保每个分组内取到sltday最大的记录，与原逻辑的预期一致。
3. 版本排查：升级到Polars最新稳定版本，确认该问题是否已被修复。
4. 提交工单：如果上述调整无法满足需求，或认为Polars应该对这类场景抛出警告/错误，可以在GitHub提交工单，需包含：
   • 可复现的代码示例
   • streaming=True和streaming=False的结果差异说明
   • 预期的正确结果描述

内容的提问来源于stack exchange，提问作者Viktor Crettenand