Polars与data.table等内存使用、拷贝机制及基准测试咨询

1. Polars与R语言data.table的内存使用对比 #

• Polars基于Apache Arrow列存储格式，在宽表、列级操作场景下内存利用率更高，尤其是对字符串、数值类型的高效压缩编码，大数据量下内存占用通常略低于data.table。
• data.table是优化后的行存储结构，在行级操作、窄表处理时内存表现优异，同样避免不必要的数据复制，但底层类型压缩能力弱于Arrow。
• 具体内存差异取决于数据结构和操作类型，两者均属于内存高效的处理库。

2. Polars对浅拷贝的处理方式 #

• Polars默认大部分操作（如筛选、列投影）为零拷贝/浅拷贝，依赖Arrow内存模型共享底层数组缓冲区，新生成的DataFrame仅为原数据的视图，不复制数据。
• 显式创建浅拷贝可使用df.clone()方法，仅复制DataFrame的元数据，不触动底层数据。
• 仅当执行修改类操作且触发数据变更时，才会触发写时复制（深拷贝），避免影响原数据。

3. 原地/按引用更新的支持情况 #

• Polars默认遵循不可变设计理念，大部分操作返回新的DataFrame对象，通过写时复制减少内存开销，不鼓励原地更新。
• 提供有限的原地更新API，如df.with_columns_in_place()、series.set()，但这类操作需谨慎使用，可能破坏不可变模型的线程安全与可预测性。
• 与data.table默认按引用更新的设计理念存在核心差异。

4. 四大库的内存效率基准测试情况 #

• 近期存在不少社区及官方基准测试：
  • Polars官方定期发布与pandas、data.table的对比测试，覆盖内存占用与执行速度。
  • R社区也有针对data.table、dplyr、r-polars的内存基准。
• 普遍测试结果：
  • 宽表、列操作场景下，Polars内存效率最优；
  • data.table在窄表、行操作中表现接近Polars；
  • pandas内存占用通常为前两者的2-3倍；
  • dplyr因依赖更多中间对象，内存效率略逊于data.table，但优于pandas。
• 基准结果会因数据类型、操作类型、硬件环境不同而变化。

内容的提问来源于stack exchange，提问作者persephone