为何Spark中rdd.getNumPartitions()会触发Job？与重分区有关吗？

问题场景 #

初始读取CSV数据时，调用getNumPartitions()不会触发Spark Job：

employee_df = spark.read.format('csv') 
                        .option('header', 'true') 
                        .load('/FileStore/tables/employee.csv')

print(employee_df.rdd.getNumPartitions())
# 输出：1，无Job触发

执行repartition后再调用该方法，却触发了Spark Job：

employee_df = employee_df.repartition(2)
print(employee_df.rdd.getNumPartitions())
# 输出：2，同时触发Spark Job

原因解析 #

getNumPartitions()本身确实不是Action算子，但触发Job的核心原因和repartition操作的特性直接相关：

• 初始读取阶段：Spark读取CSV文件时，会直接从文件系统的元信息（如文件大小、存储块大小）推断出RDD的分区数，无需读取实际数据内容，因此调用getNumPartitions()时直接返回结果，不会触发Job。
• repartition操作后：repartition(n)是一个宽依赖的Transformation算子，它需要通过Shuffle操作将数据重新分配到指定数量的分区中。虽然repartition本身不会触发Job，但当你调用employee_df.rdd.getNumPartitions()时，Spark需要确认Shuffle后RDD的实际分区情况。对于Shuffle生成的RDD，Spark无法仅通过元数据直接确定分区数，必须触发一个小型Job来完成Shuffle的前置计算，从而获取最终的分区数，因此会看到Job被触发。

内容的提问来源于stack exchange，提问作者DumbCoder