Spark查询分区Parquet文件时如何仅获取目标路径的Schema

你遇到的问题本质是Spark读取分区Parquet时默认会基于第一个匹配到的文件推断全局Schema，不会因为你后续过滤分区就更新Schema，以下是3种可落地的方案，都可以精准获取当前查询目标分区的Schema：

• 方案1：直接读取目标分区路径（最简便）
  如果你不需要保留分区列date在结果中，可以直接指定对应日期的子目录作为读取路径，Spark只会读取该路径下的文件，Schema完全基于当前分区的文件生成，不会关联其他分区：

  val targetDf = spark.read.parquet("root_folder/date=20210102")
  // 此时判断Z列完全准确
  val hasZ = targetDf.columns.contains("Z")
  

• 方案2：指定basePath保留分区列（推荐）
  如果你需要结果中自动带date分区列，可以加上basePath参数指定根目录，Spark会自动识别分区字段，同时Schema还是基于你指定的目标分区文件生成：

  val targetDf = spark.read
    .option("basePath", "root_folder")
    .parquet("root_folder/date=20210102")
  

• 方案3：指定Schema读取全表再过滤（适配动态查询场景）
  如果你的逻辑必须先读整个根目录再做分区过滤，可以先单独读取目标分区拿到Schema，再将Schema传入全表读取逻辑，避免Spark推断错误的全局Schema：

  // 先获取目标分区的Schema
  val targetSchema = spark.read.parquet("root_folder/date=20210102").schema
  // 读取全表时指定Schema，再过滤分区
  val targetDf = spark.read
    .schema(targetSchema)
    .parquet("root_folder")
    .where("date = '20210102'")
  

为什么mergeSchema=true不符合需求：开启该参数后Spark会合并所有分区的Schema，你通过DataFrame.columns获取的是合并后的全量列，不管当前查询的分区有没有Z列，都会返回包含Z的结果，自然无法用来做特殊处理的判断条件。

内容的提问来源于stack exchange，提问作者GroniumArgor