Spark Connect中如何查看DataFrame分区数？原rdd API不可用

由于Spark Connect不支持df.rdd.getNumPartitions()这个API，你可以用以下几种方法获取分区数：

• 通过执行计划查看
  执行df.explain("extended")，在输出的执行计划里找到Partitioning相关条目，比如Exchange hashpartitioning(col, 100)，最后的数字就是当前DataFrame的分区数。

• 调用底层Java对象方法
  在PySpark中直接通过DataFrame的Java桥接对象获取：

  num_partitions = df._jdf.numPartitions()
  print(num_partitions)
  

  这个方法能直接返回准确的分区数，是最便捷的方案之一。

• 通过临时视图统计分区ID
  先将DataFrame注册为临时视图，再统计唯一分区ID的数量：

  df.createOrReplaceTempView("tmp_df")
  partition_count = spark.sql("SELECT DISTINCT spark_partition_id() FROM tmp_df").count()
  print(partition_count)
  

  注意：如果DataFrame是空的，这个方法会返回0，需要结合实际场景判断。

内容的提问来源于stack exchange，提问作者bbnt