Parquet元数据has_dictionary_page为False但列用PLAIN_DICTIONARY编码原因

出现该现象主要有以下几类常见原因：

• 字典未独立存为单独页：部分Parquet写入工具（如部分版本的Spark、Impala或自定义写入逻辑）会将字典内容直接嵌入列块的第一个数据页头部，没有拆分出独立的字典页。此时元数据中不会标记存在独立字典页，has_dictionary_page自然返回False，但实际编码仍采用PLAIN_DICTIONARY，字典键值对可以正常读取解析。
• 行组级元数据写入缺失：如果写入工具未正确填充列块元数据中的dictionary_page_offset字段，pyarrow读取时找不到独立字典页的偏移标记，就会误判为不存在字典页。这种情况下字典页实际是存在的，只是元数据字段没有正确写入。
• pyarrow版本兼容缺陷：7.0.0版本以下的pyarrow存在部分字典页识别bug，对非标准写入的Parquet文件可能出现识别错误，就算存在独立字典页也会返回has_dictionary_page=False。
• 字典为文件全局级别：少数写入工具会将所有行组共用的字典统一存储在文件末尾，而非按行组单独存储，所以行组级别的元数据中不会标记存在字典页，但全局读取时仍能正常加载字典使用PLAIN_DICTIONARY编码。

你可以通过以下方法验证具体原因：

• 使用parquet-tools inspect v-c000.gz.parquet命令查看列块的页类型分布，确认是否存在嵌入数据页的字典内容
• 升级pyarrow到最新稳定版后重新读取元数据，确认字段返回值是否正常
• 核查文件的生成工具及版本，确认是否存在已知的元数据写入缺陷

内容的提问来源于stack exchange，提问作者etiel