Spark读取分区表时分区过滤条件的顺序是否会显著影响读取性能？

两种写法不会因为表分区字段的顺序差异产生不同的读取性能，二者性能完全一致。

原因如下：

• 现在常用的大数据SQL引擎（Spark SQL、Hive、Presto、Impala等）都自带成熟的查询优化器，在逻辑优化阶段就会自动对WHERE子句中用AND关联的并列过滤条件做重排，完全不会受用户书写的条件顺序限制，会自动匹配分区字段的顺序生成分区裁剪规则。
• 你已经核查过两个查询的DAG，二者FileScan阶段都生成了partitionFilter，说明两个查询都成功触发了全量分区裁剪，最终扫描的分区数量、读取的文件总量完全相同，对应的IO开销、计算开销没有任何差异。

你提到的两个查询写法本质上是等价的：

• 选项1：select xxxx where column1 ="" and column2 =""
• 选项2：select xxxx where column2 ="" and column1 =""

只有当过滤条件用OR关联、或者优化器没有识别到分区过滤条件（FileScan无partitionFilter）的场景下，才需要关注条件的书写逻辑和分区字段的匹配关系，你当前的场景不需要做额外调整。

内容的提问来源于stack exchange，提问作者Nizamudeen