Spark1.6.1中调整spark.memory.storageFraction为何对Executors页Storage列无影响？

我来帮你梳理下这个问题的核心原因和解决思路：

首先得明确Spark 1.6引入的统一内存管理模型（当spark.memory.useLegacyMode=false时）里，这两个内存参数的实际作用：

• spark.memory.fraction：控制JVM堆内存中，分配给**执行内存（用于shuffle、join等计算）+ 存储内存（用于缓存RDD、DataFrame）**的总比例（默认值0.6）。剩下的堆内存会留给用户代码和系统预留内存。
• spark.memory.storageFraction：是在上述「执行+存储」的统一内存池中，分配给存储内存的初始软比例（默认值0.5）。注意这里是「软限制」——如果执行内存不足，会自动抢占存储内存（只要缓存的数据可以被驱逐）；反之如果存储内存不足，也能抢占闲置的执行内存。

为什么调整spark.memory.storageFraction时，Executors页面的「Storage」列没变化？ #

Spark 1.6的UI中，Executors页面的「Storage」列展示的是整个统一内存池的总大小，而非统一内存池 × storageFraction的数值。这是因为统一内存模型下，存储和执行内存是共享的，没有严格的硬隔离边界——UI不会单独展示存储内存的初始分配值，只会显示两者的总可用内存。就像你截图里看到的：

所以只有当你调整spark.memory.fraction改变了统一内存池的总量时，这个列的数值才会发生变化。

正确减少缓存内存占用的方式 #

如果你想限制缓存能使用的内存上限，spark.memory.storageFraction其实是正确的参数，只是它的效果不会直接体现在UI的「Storage」列上：

• 当执行内存有需求时，存储内存的使用会被限制在统一内存池 × storageFraction的范围内，超出部分的缓存数据会被驱逐；
• 如果执行内存处于闲置状态，存储内存仍然可以占用整个统一内存池（这是软限制的设计目的，提升内存利用率）。

如果需要硬限制缓存内存的使用（不管执行内存是否闲置），你可以切换回 legacy 内存模式：

1. 设置spark.memory.useLegacyMode=true
2. 调整spark.storage.memoryFraction参数（默认0.6），此时Executors页面的「Storage」列会直接对应这个参数计算出的内存大小，缓存内存的使用会被严格限制在这个范围内。

内容的提问来源于stack exchange，提问作者Hagai