Spark SQL仅查询分区列时避免读取全量行数据的条件

在Spark SQL中仅针对分区列执行查询的场景十分常见，例如通过编程方式获取表中最新的date分区值（date为分区列），示例代码如下：

val myData = spark.table("chrisa.my_table")
val latestDate = myData.select($"date").distinct
                     .orderBy($"date".desc)
                     .limit(1).collect

假设date列可排序，格式为"YYYYmmDD"字符串（如20220908）。实际运行中这类代码有时极慢（读取全量文件数据），有时几乎瞬间完成（仅访问分区元数据）。以下是基于Spark 2.4.2版本的问题解答：

1. 存储格式或元数据需满足的条件 #

• 分区表元数据完整且已注册：表创建时必须显式指定PARTITIONED BY (date)，并且执行过MSCK REPAIR TABLE（Hive兼容表）或ALTER TABLE RECOVER PARTITIONS，确保Spark依赖的Metastore中已记录所有分区信息，避免Spark通过扫描文件系统来发现分区。
• 使用Metastore集成的存储格式：优先选择ORC、Parquet配合Hive Metastore的表结构，Spark 2.4.2对这类表的分区元数据读取支持完善，可直接从Metastore提取分区列值，无需访问数据文件。
• 分区列类型与存储一致：date列在表元数据中的定义必须为字符串类型，与实际存储的"YYYYmmDD"格式匹配，类型不匹配会导致Spark无法直接使用元数据，被迫读取数据进行类型转换。
• 避免纯文件系统分区表：不要直接读取未注册为Spark分区表的文件系统目录（如S3/HDFS上的分区文件夹），这类场景Spark需要扫描目录结构，分区数量大时会触发全量扫描。

2. 支持无需读取全量数据的转换操作 #

• 仅选择分区列的select操作：只查询分区列（如select($"date")），Spark可直接从元数据提取值，无需读取数据文件内容。
• 分区列的distinct去重：对分区列执行distinct时，若元数据已包含所有分区值，Spark会直接基于元数据完成去重，无需扫描全量数据。
• 分区列的orderBy+limit组合：针对分区列的排序+限制行数操作（如orderBy($"date".desc).limit(1)），Spark可利用元数据中的分区值排序，直接返回结果，无需读取数据。
• 使用原生SQL查询：直接执行spark.sql("SELECT DISTINCT date FROM chrisa.my_table ORDER BY date DESC LIMIT 1")，Spark SQL对这类纯分区列查询的优化逻辑更直接，比DataFrame API更容易触发元数据读取。
• 避免涉及非分区列的操作：不要加入需要访问非分区列的转换（如带非分区列的where条件、join其他表、group by非分区列等），这类操作会强制Spark读取全量数据。

内容的提问来源于stack exchange，提问作者Chris A.