关于Spark Web UI Executor模块的存储内存相关技术问询

1. 内存数值含义 #

在Storage Memory、On Heap Storage Memory和Off Heap Storage Memory下显示的X / Y格式数值，含义如下：

• 斜杠前的数值：当前已实际使用的对应内存空间，即已缓存的RDD、DataFrame等数据占用的内存大小
• 斜杠后的数值：该内存模块分配到的总可用上限，即Spark允许该部分内存用于存储缓存数据的最大空间
  • Storage Memory：统计Executor用于缓存数据的**总内存（堆内+堆外存储内存之和）**的已用/上限
  • On Heap Storage Memory：统计JVM堆内内存中，专门划分给缓存数据的部分的已用/上限
  • Off Heap Storage Memory：统计堆外内存中，专门划分给缓存数据的部分的已用/上限

2. Storage Memory与堆内/堆外存储内存的关系 #

是的，Storage Memory的数值就是On Heap Storage Memory和Off Heap Storage Memory的总和：

• 已用值 = 堆内存储已用 + 堆外存储已用
• 总上限值 = 堆内存储上限 + 堆外存储上限

3. Off Heap Storage Memory的内存来源 #

Off Heap Storage Memory完全来源于spark.memory.offHeap.size配置的堆外内存。

spark.executor.memoryOverhead是分配给Executor进程的额外开销内存，用于覆盖JVM本身的运行开销（如GC、线程栈、系统库等），这部分内存不能用于DataFrame或RDD的缓存存储，仅用于非存储类的进程额外消耗。

内容的提问来源于stack exchange，提问作者kee