Spark 2.4.4中Parquet布隆过滤器无法生效的问题排查求助

核心误解：布隆过滤器并非单独文件 #

Parquet的布隆过滤器是内嵌在Parquet文件的Footer元数据中的，不会生成独立的索引文件。你看不到额外文件是正常现象，无需纠结这点。

具体排查方向 #

1. 列级布隆过滤器的版本支持限制 #

Spark 2.4.x默认依赖的Parquet-MR版本较低（通常为1.10.x），而parquet.bloom.filter.enabled#id这种按列指定的配置是较新版本Parquet-MR才支持的特性。Spark 2.4.4可能无法识别该格式的选项，导致布隆过滤器未被写入。

可先改用全局开启的方式验证：

ds.write.mode("overwrite")
  .option("parquet.bloom.filter.enabled", "true")
  .option("parquet.bloom.filter.expected.ndv", "1000000")
  .parquet("/dev/data")

注：全局开启会对所有列生成布隆过滤器，仅用于验证功能是否正常。

2. Predicate Pushdown未触发或条件不匹配 #

布隆过滤器仅对等值过滤（如id = 123、id IN (123,456)）生效，范围查询（如id > 1000）无法利用其优化。同时需确认Predicate Pushdown是否开启：

spark.conf.get("spark.sql.parquet.filterPushdown")

该配置默认值为true，若被手动设为false，会导致过滤条件无法下推到Parquet读取阶段，布隆过滤器无法发挥作用。

3. 任务数量未减少的本质原因 #

Spark任务数由读取的Parquet文件数量决定，布隆过滤器的作用是跳过不包含目标值的文件/行组，而非减少任务数。即使生效，任务数仍可能为4个，但单个任务处理的数据量会降低（可在Spark UI的Stage页面查看各任务输入数据量变化）。

若4个文件都包含目标ID，布隆过滤器不会跳过任何文件；可尝试过滤一个不存在的ID，观察是否有任务输入数据量为0（代表该文件被跳过）。

4. Expected NDV配置不合理 #

parquet.bloom.filter.expected.ndv#id需设置为列的实际不同值数量（NDV），若设置值与实际偏差过大，会导致布隆过滤器误判率升高或无法正确构建。先统计实际NDV：

ds.select("id").distinct().count()

将统计结果作为该参数值，确保配置合理。

5. Spark Parquet数据源的读取限制 #

Spark 2.4.4的Parquet数据源可能未完整支持布隆过滤器的读取优化，即使写入时生成了过滤器，读取阶段也可能未利用。若必须使用2.4.4版本，可通过spark-submit --verbose查看依赖的Parquet-MR版本，确认是否支持该特性；条件允许的话，升级到Spark 3.x版本可获得更完善的布隆过滤器支持。

内容的提问来源于stack exchange，提问作者bsh