如何查看Spark DataFrame的分区键及分区边界等详细信息？

好问题！确实df.rdd.partitions只能拿到最基础的分区索引信息，要获取分区键、边界这些细节，咱们可以从这几个方向入手：

一、获取分区键相关信息 #

如果你的DataFrame来自分区表（比如Hive分区表）或者是通过repartitionByRange/repartition指定了分区键的RDD转换而来，有几种实用方式：

• 查看RDD分区器：对于经过显式分区（如Hash、Range分区）的RDD转成的DataFrame，通过df.rdd.partitioner可以拿到分区器的核心信息：

  // Scala示例
  val partitioner = df.rdd.partitioner
  partitioner match {
    case Some(hp: org.apache.spark.HashPartitioner) => println(s"Hash分区，分区数: ${hp.numPartitions}")
    case Some(rp: org.apache.spark.RangePartitioner[_, _]) => println(s"Range分区，边界值: ${rp.rangeBounds.mkString(", ")}")
    case _ => println("无显式分区器")
  }
  

• 查看分区表的分区列：如果是从Spark Catalog中的分区表读取的DataFrame，用Catalog API直接获取分区列：

  # Python示例
  table = spark.catalog.getTable("your_database.your_table")
  print(f"分区列: {[col.name for col in table.partitionColumns]}")
  

• 通过输入文件路径推断：如果数据是按分区路径存储（比如HDFS上的dt=2024-01-01这类格式），可以解析输入文件路径提取分区键：

  # Python示例
  input_files = df.inputFiles()
  partition_keys = set()
  for file in input_files:
      for part in file.split("/"):
          if "=" in part:
              partition_keys.add(part.split("=")[0])
  print(f"推断的分区键: {partition_keys}")
  

二、获取分区边界（首尾元素） #

要拿到每个分区的首尾元素，最直接的方式是遍历每个分区提取对应数据：

Scala示例

val partitionDetails = df.rdd.mapPartitionsWithIndex { (partitionIdx, rowIter) =>
  val rowList = rowIter.toList
  if (rowList.isEmpty) {
    Iterator((partitionIdx, "空分区", "空分区"))
  } else {
    Iterator((partitionIdx, rowList.head.toString(), rowList.last.toString()))
  }
}.collect()

// 打印每个分区信息
partitionDetails.foreach { case (idx, firstRow, lastRow) =>
  println(s"分区 $idx:")
  println(s"  首行数据: $firstRow")
  println(s"  末行数据: $lastRow")
}

Python示例

def extract_partition_bounds(row_iter):
    rows = list(row_iter)
    if not rows:
        yield ("空分区", "空分区")
    else:
        yield (str(rows[0]), str(rows[-1]))

# 给分区加上索引并整理格式
partition_info = df.rdd.mapPartitions(extract_partition_bounds).zipWithIndex()
partition_info = partition_info.map(lambda x: (x[1], x[0][0], x[0][1])).collect()

# 输出结果
for idx, first, last in partition_info:
    print(f"分区 {idx}:")
    print(f"  首行数据: {first}")
    print(f"  末行数据: {last}")

注意事项 #

• 如果DataFrame是shuffle后的结果，分区内的数据顺序是局部的，并非全局有序，所以首尾元素只是分区内的局部首尾。
• 针对超大分区，建议只提取需要的字段而非整行数据，避免占用过多内存。

内容的提问来源于stack exchange，提问作者user152468