Apache Arrow parquet如何不使用Hive风格路径=符号指定分区

完全可以实现，Apache Arrow 原生支持自定义分区路径规则，无需强制遵循Hive风格的key=value命名规范。

实现方法（以PyArrow为例） #

• 核心逻辑：不使用默认的HivePartitioning分区器，改为手动控制分区路径生成，或通过DirectoryPartitioning自定义路径解析/渲染规则。
• 写入示例（生成year_2007格式的分区路径，无等号）：

import pyarrow as pa
import pyarrow.parquet as pq
import os

# 构造测试数据集
test_data = pa.table({
    "year": [2007, 2007, 2008, 2008],
    "value": [12, 45, 32, 67]
})
partition_field = "year"
output_root_dir = "./custom_partition_parquet"

# 按分区字段拆分数据，自定义路径格式写入
for partition_value in test_data[partition_field].unique():
    # 自定义路径命名规则，可按需调整，此处用下划线替代Hive规范的等号
    current_partition_path = os.path.join(output_root_dir, f"{partition_field}_{partition_value}")
    os.makedirs(current_partition_path, exist_ok=True)
    # 筛选当前分区数据写入
    filtered_data = test_data.filter(pa.compute.equal(test_data[partition_field], partition_value))
    pq.write_to_dataset(
        filtered_data,
        root_path=current_partition_path,
        write_statistics=True,
        use_dictionary=True
    )

• 对应自定义分区文件的读取示例：

# 读取时配置对应分区解析规则，正确识别分区字段值
parquet_dataset = pq.ParquetDataset(
    output_root_dir,
    partitioning=pa.dataset.DirectoryPartitioning(
        pa.schema([("year", pa.int32())]),
        path_parse=lambda path_segments: [int(seg.split("_")[1]) for seg in path_segments]
    )
)
# 读取为Arrow表或Pandas DataFrame
result_table = parquet_dataset.read()
result_df = result_table.to_pandas()

注意事项 #

• 写入和读取的分区路径规则必须完全匹配，否则无法正确关联分区字段值
• 若无需Arrow自动处理分区，也可直接遍历目录读取所有Parquet文件，自行关联分区字段信息
• Arrow的其他语言绑定（C++、Java等）也提供了相同能力的自定义分区接口，实现逻辑一致

内容的提问来源于stack exchange，提问作者Ryan