如何优化Parquet文件查询？实现双IP字段秒级查询

以下是针对同时查询source_ip和destination_ip的优化写入方案，核心思路是让两个字段的查询都能利用Parquet的谓词下推、数据跳过等优化特性：

1. 核心优化：Z-Order复合排序+分桶 #

Z-Order排序可以让source_ip和destination_ip的相似值在存储上物理靠近，结合分桶操作能保证数据分布均匀，查询任意IP时都能快速定位到相关数据块，跳过大量无关数据。

写入代码示例：

// 基础配置
spark.sql("set spark.sql.files.maxRecordsPerFile=6000000")
spark.sql("set spark.parquet.enabled.dictionary=true")
// 开启统计信息与布隆过滤器
spark.sql("set spark.sql.parquet.statistics.enabled=true")
spark.sql("set spark.sql.parquet.bloom.filter.enabled=true")
spark.sql("set spark.sql.parquet.bloom.filter.columns=source_ip,destination_ip")

// 分桶+Z-Order排序写入（Spark 3.x+推荐用zorderBy）
df.repartition(20)
  .write
  .bucketBy(80, "source_ip", "destination_ip")
  .zorderBy("source_ip", "destination_ip")
  .mode("append")
  .option("parquet.block.size", 134217728)
  .parquet("set_opt")

2. 针对性存储优化 #

• 保留字典编码：IP字符串重复率高，字典编码能大幅压缩存储体积，提升读取效率，spark.parquet.enabled.dictionary=true必须保留。
• 双字段布隆过滤器：对source_ip和destination_ip启用布隆过滤器后，Parquet读取时可快速判断数据块是否包含目标IP，直接跳过无匹配的块，这是实现秒级查询的关键。
• 完整统计信息：开启spark.sql.parquet.statistics.enabled=true，让Spark获取每个数据块的字段极值等统计信息，进一步提升谓词下推的准确性。

3. 文件与块大小适配 #

保持parquet.block.size=134217728（128MB）的设置，平衡IO效率和数据跳过粒度；通过spark.sql.files.maxRecordsPerFile控制单文件记录数，避免生成过小或过大的文件，保证查询并行度与IO效率。

查询配合优化 #

确保Spark默认的谓词下推功能开启（spark.sql.parquet.filterPushdown=true为默认配置），查询语句无需修改即可享受优化效果。

效果说明 #

按上述方案写入后，查询source_ip或destination_ip的过滤条件时，都能像单独查询Set B的source_ip一样，利用布隆过滤器、统计信息跳过大部分无关数据块，同时Z-Order排序让目标数据集中存储，从而实现2秒级的查询速度。

内容的提问来源于stack exchange，提问作者Rayne