启用Snappy压缩的Parquet文件为何存在原始字符串？

这是正常设计行为，和压缩配置无关，核心原因有两点：

1. Parquet的列存储编码逻辑：Parquet对字符串列默认会先尝试字典编码，但当字符串重复率低、字典大小超过阈值时，会切换为Plain编码（直接存储原始字符串）。如果你的数据本身存在重复字符串，这些值会以原始形式保存在列块中，解压后自然能看到重复内容。

2. HDFS的透明解压机制：hdfs dfs -cat命令会自动识别Snappy压缩的Parquet文件并解压，你看到的是解压后的原始列数据，而非压缩后的字节流。Parquet的元数据和数据是混合存储的，但Plain编码的字符串本身就是可读的文本，所以直接cat就能看到这些内容。

如果要确认数据是否正常，别用hdfs dfs -cat，改用Spark读取该Parquet文件，或者用parquet-tools cat命令查看结构化数据，对比业务数据即可验证。

内容的提问来源于stack exchange，提问作者Capacytron