Spark分区表疑问：未用分区列查询能否享受分区性能优势？

结论 #

默认情况下Spark不会自动利用year_month分区，会扫描全表，但可以通过改写查询或显式关联分区列的方式触发分区剪枝。

原因 #

Spark的分区剪枝（Partition Pruning）依赖查询语句中直接引用分区列的过滤条件。虽然year_month由date衍生而来，但Spark优化器默认不会自动推导两者的关联关系——它只认查询里有没有对year_month的过滤，不会主动把date的范围条件转换成year_month的分区过滤规则。

优化方案 #

如果你想让Spark利用分区优化查询性能，有两种简单可行的方式：

• 改写查询条件，直接引用分区列：把基于date的范围查询转换成year_month的等值查询。比如原查询：

  SELECT * FROM your_table WHERE date >= '2020-01-01' AND date <= '2020-01-31'
  

  改成：

  SELECT * FROM your_table WHERE year_month = '2020-01'
  

  这样Spark会直接定位到对应分区，避免全表扫描。
• 在查询中显式推导分区列：如果不想修改原查询的date条件，可以在过滤条件里显式生成year_month并关联，比如：

  SELECT * FROM your_table 
  WHERE date >= '2020-01-01' AND date <= '2020-01-31'
  AND year_month = date_format(date, 'yyyy-MM')
  

  这种写法会让Spark识别到year_month的过滤条件，结合分区信息触发剪枝。不过因为你表中每月只有一条记录，这种写法的性能提升和直接改分区列查询差别不大，但数据量较大时效果明显。

额外说明 #

由于你的表每月仅存一条记录，全表扫描的性能开销其实非常小。但如果后续数据量增长，一定要通过上述方式让Spark利用分区，否则会随着数据量增加导致查询效率下降。

内容的提问来源于stack exchange，提问作者Rednaxel