升级PyArrow与Pandas后Parquet分区写入异常问题求助

升级PyArrow到12.x后，默认的pq.write_to_dataset启用了新的数据集写入逻辑，导致大分区数场景下要么触发分区数限制，要么生成大量小文件。以下是几个能确保单文件/分区且性能接近旧版本的方案：

方案1：手动按日期分组写入（最可靠） #

直接遍历每个日期分组，手动写入单个Parquet文件到对应分区目录，完全控制文件数量：

import pyarrow as pa
import pyarrow.parquet as pq

# 假设你的输入Table为`source_table`，日期列名为`date`
# 按日期列分组
date_groups = source_table.group_by('date')

output_root = "./partitioned_data"

for date_val, group_table in date_groups:
    # 构造标准分区路径（比如`date=2024-01-01`）
    partition_dir = f"{output_root}/date={date_val}"
    # 写入单个Parquet文件
    pq.write_table(
        group_table,
        f"{partition_dir}/data.parquet",
        write_statistics=False  # 关闭统计信息提升写入速度，按需开启
    )

优势： #

• 100%确保每个分区仅一个文件
• 逻辑简单，避免新版本API的隐性行为
• 写入性能稳定，接近旧版本write_to_dataset的表现

方案2：回退到旧版写入逻辑 #

通过use_legacy_dataset=True参数强制使用PyArrow旧版本的分区写入策略，配合分片参数控制单文件：

import pyarrow.parquet as pq

pq.write_to_dataset(
    source_table,
    root_path="./partitioned_data",
    partition_cols=['date'],
    max_partitions=7000,
    use_legacy_dataset=True,  # 关键：回退到旧版行为
    min_rows_per_group=7500,  # 匹配你的日均行数，确保一个分区一个分片
    max_rows_per_group=7500,
    file_options=pq.ParquetFileWriteOptions(write_statistics=False)
)

注意： #

• use_legacy_dataset在未来版本可能被废弃，但当前PyArrow 12.x仍支持
• 需确保min/max_rows_per_group值大于等于单个分区的最大行数，避免分片

方案3：自定义Dataset写入逻辑 #

使用pyarrow.dataset.write_dataset自定义文件生成规则，确保每个分区仅一个文件：

import pyarrow as pa
import pyarrow.parquet as pq
from pyarrow.dataset import write_dataset, FileFormat

def single_file_writer(partition, **kwargs):
    # 为每个分区生成固定文件名的Parquet Writer
    partition_path = f"{kwargs['base_dir']}/{partition}"
    return pq.ParquetWriter(
        f"{partition_path}/data.parquet",
        kwargs['schema'],
        write_statistics=False
    )

write_dataset(
    source_table,
    base_dir="./partitioned_data",
    format=FileFormat("parquet"),
    partitioning=["date"],
    max_partitions=7000,
    file_writer_factory=single_file_writer
)

优势： #

• 基于新版Dataset API，无废弃风险
• 完全自定义文件命名和写入行为

通用优化建议 #

• 关闭统计信息：write_statistics=False可减少30%以上的写入时间（无需分区过滤时推荐）
• 预处理日期列：将日期列转换为字符串类型（如YYYY-MM-DD），避免PyArrow自动转换带来的开销
• 控制并行度：单进程写入更适合大量小分区场景，多进程可能因IO竞争导致性能下降

内容的提问来源于stack exchange，提问作者CliveCoYo