使用pyarrow.parquet.write_to_dataset按id分区写入极慢问题咨询

首先，你的猜测完全正确：分区粒度太小是导致写入速度暴降的核心原因。

500万行数据拆分到33万个分区，平均每个分区只有约15行数据。这会生成33万个极小的Parquet文件，而每个文件的写入都包含磁盘IO的打开、写入、关闭操作，还要维护每个分区的元数据——这些额外开销叠加起来，直接把总耗时拉到了半小时以上，完全是正常现象。

一、解决分区过细的问题 #

最有效的优化是减少分区数量，建议把分区数控制在几百到几千的范围内（具体看你的存储系统和后续查询需求），比如：

1. 哈希取模分区 #

给id做哈希取模，把相近的id合并到同一个分区：

# 先新增分区列，分成1000个分区
df['id_partition'] = df['id'] % 1000
df_table = pa.Table.from_pandas(df)
pq.write_to_dataset(df_table, root_path='my.parquet', partition_cols=['id_partition'])

这样每个分区平均有5000行数据，既能保留按id分组的查询效率，又能大幅降低文件IO开销。

2. 范围分区（如果id有规律） #

如果你的id是连续递增的数值，可以按范围划分分区，比如每5000个id为一个分区：

df['id_range'] = (df['id'] // 5000).astype(str)
df_table = pa.Table.from_pandas(df)
pq.write_to_dataset(df_table, root_path='my.parquet', partition_cols=['id_range'])

二、Parquet最优块大小说明 #

Parquet的行组（Row Group）大小（也就是你说的块大小）直接影响读写性能，行业内的通用建议是：

• 大小设置为128MB~256MB，和大多数分布式存储系统的块大小（比如HDFS的128MB）匹配，能最大化IO效率。
• 如果你的内存资源有限，可以降到64MB；如果存储是高速SSD，也可以尝试512MB，但不要超过内存能承载的范围（因为写入时需要把整个行组加载到内存）。

在pyarrow中设置行组大小 #

可以通过WriteOptions参数指定行组大小（字节数）：

import pyarrow.parquet as pq

# 设置行组大小为128MB
write_opts = pq.WriteOptions(row_group_size=128 * 1024 * 1024)
pq.write_to_dataset(
    df_table,
    root_path='my.parquet',
    partition_cols=['id_partition'],
    write_options=write_opts
)

也可以直接指定行数，比如row_group_size=1000000（100万行），根据你的单条数据大小调整即可。

额外优化建议 #

• 如果你的存储是机械硬盘（HDD），换成SSD能大幅提升小文件的读写速度；
• 写入前先按分区列排序，这样同一个分区的数据会连续写入，减少磁盘寻道开销（但排序本身有时间成本，适合分区数量仍较多的场景）。

内容的提问来源于stack exchange，提问作者der_grund