使用PyArrow优化Dask大型DataFrame的_metadata文件大小

可以通过配置PyArrow引擎的统计生成规则，让_metadata文件仅包含索引列的统计信息，具体步骤如下：

1. 给时间戳索引命名（可选但推荐） #

如果你的时间戳索引没有明确名称，先为它指定名称，方便后续精准指定统计列：

ddf = ddf.rename_axis('timestamp')

2. 在dask.to_parquet中配置PyArrow参数 #

通过engine_kwargs传递PyArrow的统计控制参数，仅针对索引列生成统计信息：

dd.to_parquet(
    path="your_storage_path",
    engine="pyarrow",
    write_index=True,  # 确保索引作为列写入Parquet文件
    engine_kwargs={
        "statistics": ["timestamp"],  # 指定仅生成该列的统计数据
        "write_statistics": True
    }
)

关键说明 #

• PyArrow的statistics参数接受列名列表，仅为指定列生成min/max等统计信息，其余列不会生成统计，以此大幅压缩_metadata文件体积。
• 该特性需要PyArrow 5.0及以上版本支持，若你的版本较低，建议先升级：pip install --upgrade pyarrow。
• 保留索引列的统计信息后，Dask仍能通过这些元数据高效判断需加载的分区，完全不影响dd.loc[timestamp_start:timestamp_end]的查询性能。

内容的提问来源于stack exchange，提问作者user40780