Spark中Parquet列裁剪问题：如何仅读取选定列的数据块？

你说得没错——Parquet的列存储特性确实支持只读取指定列的数据块，但你当前的写法dataframe.read.parquet().select(col*)并没有触发这个优化，原因是你先把整个文件的所有列都加载到DataFrame里，再做列筛选，这相当于先读全量数据再内存裁剪，自然会读取整个文件。

Spark其实提供了两种可靠的方式来实现真正的列裁剪，让Parquet只读取你需要的列数据块：

方法一：依赖Spark Catalyst优化器的下推能力 #

只要你在读取Parquet后立即调用select指定目标列，Spark的Catalyst优化器会自动把列筛选操作下推到Parquet读取阶段，避免加载无关列。

示例代码（Scala）：

// 读取后直接指定需要的列
val targetDF = spark.read.parquet("/your/parquet/path")
  .select("user_id", "order_amount", "create_time")

// 验证优化是否生效：查看物理执行计划
targetDF.explain(true)

执行explain(true)后，你可以在输出的ParquetScan部分找到PushedColumns字段，如果里面包含你指定的列，就说明优化生效了——Parquet只会读取这些列对应的数据块。

方法二：提前定义目标Schema，强制只加载指定列 #

如果你的Parquet文件存在多版本Schema（比如不同批次写入的列不一致），或者你想更明确地控制加载的列，可以提前定义只包含目标列的Schema，再用这个Schema读取文件。这种方式能确保Spark完全忽略无关列，不会尝试加载任何额外数据。

示例代码（Scala）：

import org.apache.spark.sql.types._

// 定义仅包含需要列的Schema
val targetSchema = StructType(Seq(
  StructField("user_id", LongType),
  StructField("order_amount", DoubleType),
  StructField("create_time", TimestampType)
))

// 使用指定Schema读取Parquet
val targetDF = spark.read.schema(targetSchema).parquet("/your/parquet/path")

注意事项 #

• 避免在读取后先执行其他操作（比如join、groupBy）再做select，这会打断Catalyst的优化链，导致无法下推列裁剪。
• 如果开启了mergeSchema选项（默认是false），可能会影响列裁剪的效果，建议在不需要合并Schema时保持默认值。

内容的提问来源于stack exchange，提问作者Lionel