合并Polars DataFrame后写入Parquet文件的性能问题求助

针对你遇到的合并后写入/读取Parquet性能骤降的问题，给出以下具体优化思路：

1. 避免全量重写，直接追加数据 #

不要先合并再全量写入，而是利用Polars的Parquet追加模式，直接将新增数据写入原有Parquet文件。这种方式无需处理整个大数据集，耗时仅和写入新增数据相当：

# 直接追加df_to_append到原df_old的Parquet文件（需保证schema一致，你已满足该条件）
df_to_append.write_parquet("df_old.parquet", mode="append")

读取时直接读取更新后的df_old.parquet，速度会和原文件读取一致，因为仅需更新Parquet元数据，无需重构整个文件结构。

2. 调整Parquet写入参数，优化IO效率 #

合并后的数据集写入慢，可能是默认写入参数不匹配大文件场景，可通过以下参数优化：

• 行组大小（row_group_size）：设置与原数据集一致的行组大小（比如原df_old的行组为100万行），提升写入时的并行IO效率；
• 压缩算法：保持与原文件一致的压缩算法（默认snappy是速度与压缩比的平衡选择）；
• 使用PyArrow引擎：部分场景下PyArrow的Parquet写入性能更优。

示例代码：

result.write_parquet(
    "result.parquet",
    row_group_size=1000000,  # 匹配原数据集行组大小
    compression="snappy",
    use_pyarrow=True
)

3. 重构合并后数据集的内存布局 #

pl.concat后的数据集可能存在内存碎片化，导致写入时额外的整理开销。可通过rechunk()将数据重构为连续内存块，提升写入速度：

result = pl.concat([df_old, df_to_append]).rechunk()
result.write_parquet("result.parquet")

4. 采用Parquet分区表（适合长期维护的数据集） #

如果你的数据集可按某个字段（如日期、类别）分区，追加数据时仅需写入对应分区的文件，彻底避免全量操作：

# 初始写入时按字段分区（比如date）
df_old.write_parquet("partitioned_dataset", partition_by="date")
# 追加数据时自动写入对应分区
df_to_append.write_parquet("partitioned_dataset", partition_by="date", mode="append")

读取时还可通过filter直接加载指定分区，进一步提升读取速度。

5. 检查并行配置与内存状态 #

• 确认Polars已启用多线程：通过pl.Config.get("num_threads")查看线程数，可设置为CPU核心数（pl.Config.set_threads(8)，根据你的机器调整）；
• 确保机器内存足够容纳合并后的数据集，内存不足导致的磁盘交换会大幅拖慢写入速度。

内容的提问来源于stack exchange，提问作者user28127064