如何用PyArrow获取Parquet文件的Page级元数据及编码信息？

一、获取PageHeaders及Page级编码的实现 #

在PyArrow中，你可以通过底层API直接获取每个ColumnChunk下的Page级元数据，具体操作如下：

1. 用pyarrow.parquet.ParquetFile打开目标Parquet文件；
2. 遍历文件中的每个RowGroup，再遍历RowGroup内的每个ColumnChunk；
3. 调用ColumnChunk的get_page_headers()方法，获取该列块下所有Page的元数据，包括编码类型、页类型、压缩方式等核心信息。

示例代码：

import pyarrow.parquet as pq

# 替换为你的Parquet文件路径
parquet_file = pq.ParquetFile("target_file.parquet")

# 遍历所有RowGroup
for rg_idx, row_group in enumerate(parquet_file.row_groups):
    print(f"RowGroup {rg_idx}")
    # 遍历RowGroup内的所有ColumnChunk
    for col_idx, col_chunk in enumerate(row_group.column_chunks):
        print(f"  ColumnChunk {col_idx} (对应列索引: {col_chunk.column_index})")
        # 获取该ColumnChunk下的所有PageHeader
        page_headers = col_chunk.get_page_headers()
        for page_idx, page in enumerate(page_headers):
            print(f"    Page {page_idx}:")
            print(f"      页类型: {page.type.name}")
            print(f"      编码方式: {page.encoding.name}")
            print(f"      压缩类型: {page.compression.name}")
            print(f"      包含数据行数: {page.num_values}")

通过get_page_headers()返回的PageHeader对象，你可以直接区分字典页和数据页的编码差异，完全满足Page级元数据的获取需求。

二、关于编码逻辑的验证 #

你之前的推测完全正确：

• Parquet的字典页（DictionaryPage）默认采用PLAIN编码存储字典条目；
• 当字典容量耗尽后，后续数据页会根据内容特性选择编码：如果数据仍能匹配现有字典，会使用RLE_DICTIONARY编码；若出现字典未覆盖的新值，或字典被重置，部分数据页会切换为RLE甚至PLAIN编码。

内容的提问来源于stack exchange，提问作者Guillaume Jardillier