Spark任务内存用量追踪：如何量化调优后的内存收益？

1. 用Spark Web UI直接抓取核心内存数据 #

Spark自带的Web UI（默认端口4040）是最直观的工具，能满足你对平均/峰值内存及高内存任务定位的需求：

• 全局视角：在Executors页面，可查看每个Executor的平均内存使用率、峰值内存（Max Memory），汇总后能快速对比不同版本代码的整体内存消耗变化。
• Task级细节：进入Jobs页面，点击目标Job的Stages，再查看Stage下的Task列表，能看到单个Task的峰值执行内存（Peak Execution Memory）和Shuffle内存占用。通过排序筛选，直接找出内存贡献最大的Task或Task组。

2. 解析Spark日志做离线量化对比 #

如果需要多次任务的对比数据，直接分析日志是高效的离线方案：

• 开启详细日志：提交任务时添加参数--conf spark.logConf=true，确保日志记录完整的内存配置与运行指标。
• 提取关键数值：日志中会包含ExecutorMetrics相关条目，里面有peakMemoryUsed_MB、avgMemoryUsed_MB等字段。用grep或简单脚本（如Python）批量提取多次运行的这些数值，生成对比表格，直接量化调优收益。
• 定位高内存任务：每个Task完成后，日志会输出Task finished in ...条目，其中包含该Task的内存占用数据，筛选出数值最高的条目即可定位核心内存消耗点。

3. 启用Spark Metrics系统做持续监控 #

若需要长期跟踪内存变化趋势，Metrics系统可将数据输出到本地文件做后续分析：

• 配置Metrics：在spark-defaults.conf中添加spark.metrics.conf参数，指定配置文件（示例为输出到CSV）：

  *.sink.csv.class=org.apache.spark.metrics.sink.CsvSink
  *.sink.csv.directory=/path/to/metrics-storage
  *.sink.csv.period=10
  *.sink.csv.unit=seconds
  

• 提取内存指标：生成的CSV文件包含executor.jvm.total.max（最大内存）、executor.jvm.total.used（实时使用内存）等字段，通过计算可得到平均及峰值内存，还能对比多次任务的变化趋势。

4. 自定义代码做细粒度内存监控 #

针对特定场景，可在代码中嵌入内存监控逻辑，获取更精准的分区级数据：

• 在关键操作前后获取JVM内存数据：

  def getMemoryUsageMB(): Long = {
    val runtime = Runtime.getRuntime
    (runtime.totalMemory() - runtime.freeMemory()) / 1024 / 1024
  }
  
  // 在核心RDD操作前后调用
  val before = getMemoryUsageMB()
  val processedRdd = rawRdd.map(...).filter(...)
  val after = getMemoryUsageMB()
  println(s"This stage used ${after - before} MB memory")
  

• 结合mapPartitions，对每个数据分区的内存使用进行统计，直接定位到由特定数据分区导致的内存瓶颈。

内容的提问来源于stack exchange，提问作者Adam Luchjenbroers