Parquet列索引使用问题：Spark写入Parquet时如何创建列索引加速查询？

首先明确版本依赖：Spark 3.2及以上版本原生支持Parquet 2.0的列索引特性，无需额外集成第三方组件。

具体操作步骤 #

1. 核心写入配置 #

写入Parquet时需要开启两个核心参数，同时可指定需要创建索引的列：

• 开启列索引写入能力：spark.sql.parquet.write.columnIndex.enabled 设置为 true
• 开启页级统计信息写入（列索引依赖该信息生成）：spark.sql.parquet.write.pageStatistics.enabled 设置为 true
• 指定创建索引的列（Spark 3.3及以上版本支持）：spark.sql.parquet.columnIndex.columns 取值为目标列名，多列用英文逗号分隔

  若使用Spark 3.2版本，暂不支持指定列，开启上述两个开关后会默认给所有列生成列索引

2. 代码示例 #

Scala 示例

val sourceDf = spark.read.csv("你的数据源路径")
sourceDf.write
  .option("parquet.write.columnIndex.enabled", "true")
  .option("parquet.write.pageStatistics.enabled", "true")
  // 此处指定给user_id列创建索引，可根据需求替换为你的目标列
  .option("parquet.columnIndex.columns", "user_id")
  .parquet("Parquet文件输出路径")

PySpark 示例

source_df = spark.read.csv("你的数据源路径")
source_df.write \
  .option("parquet.write.columnIndex.enabled", "true") \
  .option("parquet.write.pageStatistics.enabled", "true") \
  .option("parquet.columnIndex.columns", "user_id") \
  .parquet("Parquet文件输出路径")

验证与使用 #

• 确认索引生成：可使用parquet-tools工具查看输出文件的元数据，执行命令parquet-tools meta 你的Parquet文件路径，若输出中包含Column Index相关条目则说明索引创建成功。
• 索引使用：Spark 3.2及以上版本读取时默认会自动识别并利用列索引，针对带过滤条件的查询会自动跳过不匹配的数据页，无需额外配置。

注意事项 #

• 列索引会小幅提升写入开销、增加文件存储占用，建议仅给经常作为查询过滤条件的列创建索引，避免全列加索引造成不必要的资源浪费。
• 如果是分区表，列索引和分区裁剪可以叠加生效，查询性能提升效果更明显。

内容的提问来源于stack exchange，提问作者sameermakker