为何Polars写入的Parquet文件查询性能优于Spark？求差异原因与配置优化建议

我之前也碰到过一模一样的情况——相同的数据和Schema，用Polars写的Parquet在DataFusion里查起来快不少，Spark写的就慢一截，折腾了好一阵子才搞明白问题出在哪。咱们一步步拆解原因，再看看怎么调Spark的配置追上Polars的表现。

一、核心差异：Parquet文件结构与编码细节 #

Polars和Spark在Parquet写入的默认行为上有不少细微差别，这些差别直接影响DataFusion的查询效率：

1. 行组（Row Group）与文件大小 #

Polars默认会把数据合并成较大的行组（通常是128MB左右），生成的Parquet文件数量少、单文件体积适中。而Spark默认是按RDD分区来生成行组——如果你的Spark作业分区数多，就会生成大量小文件/小行组。DataFusion查询时要频繁打开、读取这些小文件的元数据，IO开销会陡增。你把Spark的parquet.block.size设成4MB其实是反方向优化，太小的行组会让元数据量暴增，反而拖慢查询。

2. 编码策略的默认差异 #

Polars对字符串、枚举这类重复率高的类型，默认会优先启用字典编码+RLE，压缩效率和读取速度都更高。虽然你开了Spark的parquet.enable.dictionary，但Spark默认可能只对部分类型启用字典编码，而且字典页面大小的设置如果不合理，也会影响编码效率。

3. 统计信息与索引的精细度 #

DataFusion的谓词下推严重依赖Parquet文件的统计信息（比如列的min/max、空值数）和列索引。Polars默认会生成更精细的统计信息，而且列索引、偏移索引的实现更贴合DataFusion的查询逻辑。你开了Spark的统计和索引，但可能统计级别不够高，或者索引的参数没对齐Polars的默认值。

4. 压缩实现的细节 #

虽然都用zstd，但Spark和Polars的压缩级别默认值可能不同。Polars默认的zstd压缩级别一般是6，而Spark默认可能更低，导致压缩比不够，文件体积更大，查询时的IO量也就更多。

二、Spark的针对性优化配置建议 #

针对上面的差异，你可以调整Spark的Parquet写入配置，尽量对齐Polars的行为：

• 调整行组大小，合并小文件
  把parquet.block.size改回128MB（对应值134217728），同时在写入前用repartition把数据合并成合适的分区数，比如让每个分区大小接近128MB：

  df.repartition(10) // 根据你的数据总量调整分区数，确保单分区~128MB
    .write.parquet("path")
  

  写完后也可以用Spark SQL的OPTIMIZE命令合并小文件：

  OPTIMIZE parquet_table ZORDER BY (your_key_column)
  

• 对齐编码与压缩参数
  强制对所有适合的列启用字典编码，并设置合理的字典页面大小；同时指定zstd的压缩级别：

  .config("spark.sql.parquet.compression.codec", "zstd")
  .config("spark.sql.parquet.compression.level", "6") // 对齐Polars默认压缩级别
  .config("parquet.enable.dictionary", "true")
  .config("parquet.dictionary.pageSize", "131072") // 和页面大小一致，提升字典效率
  .config("parquet.page.size", "131072") // 128KB，Polars默认页面大小
  

• 强化统计信息与索引
  开启全量统计，并确保索引参数最优：

  .config("parquet.statistics.enabled", "true")
  .config("parquet.statistics.level", "FULL") // 生成更详细的列统计
  .config("parquet.column.index.enabled", "true")
  .config("parquet.offset.index.enabled", "true") // 开启偏移索引，帮助快速定位数据
  .config("parquet.column.index.pageSize", "65536") // 64KB，和Polars默认一致
  

• 对齐数据类型与Parquet版本
  确保时间戳类型完全对齐，并且使用最新的Parquet规范：

  .config("spark.sql.parquet.outputTimestampType", "TIMESTAMP_MICROS")
  .config("parquet.writer.version", "PARQUET_2_0")
  .config("parquet.int96RebaseModeInWrite", "CORRECTED") // 避免时间戳偏移问题
  

三、验证差异的小技巧 #

你可以用parquet-tools工具对比两个Parquet文件的元数据，直观看到差异：

# 查看Spark生成的文件元数据
parquet-tools meta spark_output/*.parquet
# 查看Polars生成的文件元数据
parquet-tools meta polars_output/*.parquet

重点对比行组大小、页面大小、编码方式、统计信息条目、索引是否存在这些字段，就能快速定位哪块没对齐。

备注：内容来源于stack exchange，提问作者user29976558