Parquet压缩算法是否对重复/近重复列进行跨列压缩？

核心本质：列存的独立性限制 #

Parquet是严格的列存储格式，每一列都是完全独立的存储单元。不管列与列之间的内容是否完全重复，Snappy、Gzip这类压缩算法都只会在单列内部执行压缩逻辑，不会跨列识别并复用重复内容。

这直接导致：

• 哪怕两列内容完全一致，它们会被当作两个独立实体分别完成编码、压缩和存储
• 列名对应的元数据开销远小于列数据本身，所以新增内容重复的列后，存储用量基本会翻倍，和你实际测算的结果一致

游程编码（RLE）的作用范围 #

游程编码是Parquet针对单列内重复值的优化手段——当某一列内部出现连续重复值时，会用「值+重复次数」的方式压缩存储，但它仅作用于单列内部，完全不会关联其他列的内容，自然无法实现跨列的重复数据复用。

实现“仅额外存储列名”的可行方案 #

如果想避免重复内容占用双倍空间，可参考以下几种思路：

• 合并重复列：若业务逻辑允许，将内容相同的列合并为一列，通过业务规则或额外元数据来对应不同的“列名”需求
• 自定义元数据映射：仅存储一份数据列，在Parquet的自定义元数据中记录多个列名到该数据列的映射关系，读取时通过解析元数据还原多列逻辑
• 虚拟列/视图映射：借助Spark等大数据框架的视图或虚拟列特性，查询时映射出不同列名，底层仅存储一份原始数据

内容的提问来源于stack exchange，提问作者statsstatss