Spark SQL是否支持non-clustered index（非聚集索引）相关功能？

Spark SQL本身没有完全对标SQL Server中非聚集索引的原生实现，但可以通过配套特性实现相近的查询加速效果，具体可以分为两种场景：

基于湖仓表格式的二级索引（接近非聚集索引体验） #

如果你使用Delta Lake、Apache Iceberg这类开源湖仓表格式存储数据，Spark 3.0及以上版本支持直接创建二级索引，功能和使用体验非常接近SQL Server的非聚集索引：

• 可以基于非主键的常用过滤列创建索引，索引独立存储索引键与对应数据行的映射关系
• 查询时Spark优化器会自动识别可用索引，跳过不符合过滤条件的数据块，无需全表扫描
• 创建索引的示例语法如下：

  -- 给Delta表的age列创建二级索引
  CREATE INDEX idx_user_age ON delta.`/delta_table_storage_path`(age);
  

原生普通数据源的替代方案 #

如果你使用的是Parquet、CSV这类Spark原生支持的普通存储格式，没有内置索引能力，可以通过以下数据布局优化手段实现类似的加速效果：

• 分区裁剪：对低频更新、低基数的常用过滤列设置表分区，查询时只会扫描符合条件的分区，直接跳过无关数据
• 排序分片优化：写入数据时按照常用过滤列排序后分片存储，每个分片会自动维护列的最大值、最小值统计信息，查询时可以直接跳过数据范围不匹配的分片
• 布隆过滤器索引：对高基数过滤列创建布隆过滤器，查询时可以在毫秒级判断指定值是否存在于对应分片内，大幅减少扫描的数据量

需要注意的是，Spark本身定位是分布式OLAP计算引擎，和SQL Server这类传统事务型数据库的设计目标不同，原生存储层没有实现传统的非聚集索引结构，上述方案在大多数分析场景下可以达到和非聚集索引相近的加速效果。

内容的提问来源于stack exchange，提问作者user40780