Spark按键列分区后，使用函数过滤读取时分区是否仍能优化性能？

嗨，我来帮你逐个理清这两个问题：

问题1：直接过滤分区键范围时，Spark会不会跳过不符合条件的分区？ #

完全正确！Spark会自动执行分区裁剪（Partition Pruning），绝对不会把my_col=202101对应的Parquet文件加载到内存里。

原因很直观：当你按my_col分区存储Parquet数据时，数据会被组织成类似这样的目录结构：

your_dataset/
├── my_col=202101/
│   └── part-xxxx.parquet
└── my_col=202209/
    └── part-yyyy.parquet

Spark解析.filter("my_col >= 202201")这个条件时，能直接识别出只有my_col=202209这个分区符合要求，所以只会扫描这个目录下的文件，完全不会触碰my_col=202101的文件，自然也不会加载它的内容到内存。

问题2：对分区键使用函数过滤时，会不会加载不符合条件的分区？ #

很遗憾，这种情况下Spark无法自动触发分区裁剪，my_col=202101的文件会被先加载到内存，之后才会被过滤掉。

这是因为Spark没办法把substring(my_col, 1, 4) >= 2022这个带函数的条件，直接映射到现有的分区目录上。它没法自动推断出substring(my_col,1,4)等价于取年份，也就不知道只有my_col=202209符合要求，所以只能先加载所有分区的文件到内存，再执行过滤逻辑。

如果想让这种场景也能利用分区优化性能，有两个实用小技巧：

• 提前把my_col拆分成year和month两个分区列，这样直接过滤year >=2022就能触发分区裁剪
• 把函数式的过滤条件转换成分区键的直接范围条件，比如把substring(my_col,1,4)>=2022改成my_col >=202201，这样就能复用分区裁剪的优化了

备注：内容来源于stack exchange，提问作者ZygD