Spark中计算执行时间的疑问：Driver端计时是否准确？

首先，先把你的代码贴出来方便参考：

foreachRDD{ rdd => 
  //operation1 
  val before = time.now() 
  val result = rdd.map(r=> //some operation) 
  val finalTime = time.now() - before 

  //operation1 
  val before2 = time.now() 
  val result2 = result.map(r=> //some operation) 
  val finalTime2 = time.now() - before2 

  .... 
  //Some action 
}

你的观点是否正确？ #

你的说法部分正确：time.now()和finalTime/finalTime2的计算确实是在Driver端执行的，但这里的计时无法反映map操作的真实执行时间——这是Spark的惰性求值特性导致的关键问题。

Spark的转换算子（比如map）只是在构建计算DAG（有向无环图），并不会立刻执行计算。只有当遇到action算子（比如count、collect、saveAsTextFile等）时，才会触发整个DAG的实际计算。所以你在map之后立刻计算的finalTime，其实只记录了“定义这个转换逻辑”的耗时，而不是Executor真正执行该map操作的时间。

各操作的实际执行位置 #

Let’s break down each part:

• foreachRDD：这个方法是在Driver端周期性运行的，它负责处理每个微批生成的RDD。
• rdd.map(r => //some operation)：map是转换算子，其中的//some operation逻辑是在Executor端执行的——Spark会把这个逻辑分发到各个Executor的分区上，并行处理数据。
• result.map(r => //some operation)：和上面一样，这个map的内部处理逻辑也在Executor端执行。
• //Some action：action算子的触发命令是在Driver端发起的，但实际的计算任务还是在Executor端执行，Driver会负责调度任务、监控执行状态，并最终收集计算结果。

如何正确统计真实执行时间？ #

如果想准确统计map操作的实际耗时，有几种常用方式：

1. 在action之后计时：因为action会触发所有前置转换的计算，所以可以在action前后计时，得到整个DAG阶段的真实耗时：

foreachRDD{ rdd => 
  val before = System.currentTimeMillis()
  // 用action触发计算，这里的count会执行前面的map
  val processedCount = rdd.map(r=> //some operation).count()
  val finalTime = System.currentTimeMillis() - before
  println(s"First map stage took $finalTime ms")

  val before2 = System.currentTimeMillis()
  val processed2Count = rdd.map(r=> //some operation).map(r=> //another operation).count()
  val finalTime2 = System.currentTimeMillis() - before2
  println(s"Two map stages took $finalTime2 ms")
}

2. 在Executor端的算子内部计时：如果你想统计单条记录或单个分区的处理时间，可以把计时逻辑写到map函数里：

rdd.map { r =>
  val start = System.currentTimeMillis()
  val processedResult = // your processing logic on r
  val end = System.currentTimeMillis()
  println(s"Processed record in ${end - start} ms (executor side)")
  processedResult
}

3. 利用Spark UI：Spark自带的Web UI（默认端口4040）会详细展示每个Stage的执行时间、任务耗时等信息，这是最全面的监控方式。

内容的提问来源于stack exchange，提问作者Guille