Databricks中Parquet文件Pushed Filters生效异常问题咨询

你遇到的问题是谓词下推（Predicate Pushdown）虽在物理计划中显示已推送，但实际仍读取了全量数据，主要有以下几个常见原因：

可能的原因 #

• Parquet列缺少统计信息：Spark的文件级过滤依赖Parquet文件的元数据统计（比如列的最小值、最大值、值分布）。如果originating_base_num列没有统计信息，Spark无法判断哪些文件包含目标值B02764、B02617，只能先读取所有文件，再在内存中执行过滤。
• 文件体积过小/数量过少：当Parquet文件体积远小于Spark默认分区大小（默认128MB），或者文件总数很少时，Spark优化器会认为全量读取的开销比逐个文件做过滤更低，直接跳过文件级的谓词下推，读取所有数据后再过滤。
• 列类型不匹配：如果Parquet文件中originating_base_num的实际数据类型和你查询中使用的字符串类型不匹配（比如实际是整型），谓词下推会失效，只能全量读取后做类型转换再过滤。
• 特殊配置影响：虽然物理计划显示有PushedFilters，但仍需确认spark.sql.parquet.filterPushdown配置是否为true（默认是true），如果被手动关闭，也会导致过滤无法下推到Parquet读取层。

验证与解决方法 #

• 检查列统计与类型：执行以下命令查看列的元数据和统计信息：

  df = spark.read.parquet("/FileStore/shared_uploads/highVolume/*.parquet")
  df.printSchema()
  # 查看列统计
  df.describe("originating_base_num").show()
  # 或者用DESCRIBE EXTENDED
  spark.sql("DESCRIBE EXTENDED parquet.`/FileStore/shared_uploads/highVolume/` originating_base_num").show(truncate=False)
  

  确认列类型和查询一致，且有统计数据。
• 生成列统计信息：如果缺少统计信息，执行以下命令强制生成：

  ANALYZE TABLE parquet.`/FileStore/shared_uploads/highVolume/` COMPUTE STATISTICS FOR COLUMNS originating_base_num
  

  生成后再重新执行查询，Spark就能利用统计信息做文件级过滤。
• 合并小文件：如果文件过小，用repartition或coalesce合并成更大的文件：

  spark.read.parquet("/FileStore/shared_uploads/highVolume/*.parquet") \
    .repartition(10) \  # 根据实际数据量调整分区数
    .write.mode("overwrite").parquet("/FileStore/shared_uploads/highVolume_merged/")
  

  之后查询合并后的文件，优化器更可能触发谓词下推。
• 检查Spark配置：在Databricks集群的Spark配置中，确认spark.sql.parquet.filterPushdown的值为true，也可以在会话中临时检查：

  print(spark.conf.get("spark.sql.parquet.filterPushdown"))
  

内容的提问来源于stack exchange，提问作者Shreyansh