Spark能否不全量加载Parquet文件到内存，仅读取前序部分目标数据？

完全可以实现仅读取A=0对应的行数据，不需要全量加载文件，且不违反单文件存储的限制，核心是利用Parquet原生的行组裁剪能力，不需要做额外的自定义文件读取开发。

具体实现逻辑 #

• 首先明确Parquet的存储结构：单个Parquet文件可以拆分为多个独立的行组（Row Group），每个行组的元数据会在文件footer中记录每一列的统计信息，包括列的最小值、最大值、空值数量等。
• 你在写入文件前按A列排序后，只要控制写入时的行组边界，保证存储A=0数据的行组内所有行的A列值均为0、存储A=1数据的行组内所有行的A列值均为1，不要让同一个行组内同时混存A=0和A=1的行即可，写入完成后依然是单个Parquet文件，不属于拆分独立存储的违规操作。
• 读取时不需要写特殊逻辑，只要保持Spark默认开启的Parquet过滤下推配置（对应参数spark.sql.parquet.filterPushdown=true，默认值就是true），正常执行过滤查询即可：

  spark.read.parquet("文件P的存储路径").filter("A = 0").show()
  

• 执行查询时，Spark会先读取Parquet文件的footer元数据，遍历所有行组的A列统计值：所有A列最小值为1的行组，显然不可能存在A=0的数据，Spark会直接跳过这些行组的读取，完全不会把这部分数据加载到内存。如果A=0的数据确实只占总数据量的1%，且行组边界对齐了A的取值跳变点，最终实际扫描的数据量就会接近总数据量的1%，资源开销和全量读取相比会大幅下降。

常见踩坑点 #

如果排序后写入时没有控制行组边界，把A=0和A=1的行都塞进了同一个行组，那这个行组记录的A列min值为0、max值为1，Spark无法判定这个行组是否存在目标数据，就会全量读取这个行组，裁剪效果会大打折扣。写入时可以通过调整Parquet行组大小参数spark.sql.parquet.block.size，配合按A排序的写入逻辑，让行组边界刚好落在A取值从0跳变到1的位置即可。

补充说明：这个能力不是Spark独有的，只要是支持Parquet谓词下推、行组裁剪的查询引擎（比如Trino、Impala等）都能实现这个效果，不需要依赖Spark的专属特性。

内容的提问来源于stack exchange，提问作者李悦城