检查Polars LazyFrame重复项的最优方法及自定义函数有效性确认

最高效的核心思路 #

对于Polars LazyFrame，检查重复项的最高效方式是提前终止计算——一旦找到第一个重复项就停止遍历数据集，避免无意义的全量处理。

你的函数的有效性分析 #

你编写的has_duplicates_early_exit函数已经是非常高效的实现，理由如下：

• 提前终止逻辑生效：is_duplicated()结合any()的组合会在检测到第一个重复项时立即停止后续计算，完全契合"提前退出"的最优思路，不需要处理整个数据集。
• Polars优化适配：通过pl.struct(subset)将指定列打包为结构体后判断重复，符合Polars的内部优化逻辑，对多列重复的判断效率很高。
• 结果提取轻量化：最终用.collect().item()直接提取布尔结果，避免了额外的数据加载和转换开销。

可选的微小优化（非必需） #

如果subset仅包含单个列，可以直接使用pl.col(subset[0]).is_duplicated().any()，省去结构体打包的细微开销，但这种差异在大部分场景下可以忽略，结构体的写法更通用适配多列场景。

内容的提问来源于stack exchange，提问作者Nicolò Cavalleri