Spark on K8s集群模式下Executor堆内存峰值差异原因咨询

差异核心原因 #

Spark的内存管理是动态弹性的，当spark.executor.memory配置为100GB时，存储内存（Storage Memory）的可用上限会随总堆内存同步提升——即使当前阶段无执行内存占用，Spark在读取大文件时会尽可能利用预留的存储内存暂存中间数据，而1GB小堆配置下存储内存的上限被严格限制，数据会被快速GC回收，因此堆内存峰值差异明显。

另外，JVM本身的内存结构特性也会放大差异：

• 大堆内存下，JVM新生代、老年代的默认比例对应的实际内存更大，GC触发阈值更高，临时对象会在堆中留存更久，推高峰值。
• K8s环境中，Spark Executor的JVM堆内存（-Xmx）完全匹配spark.executor.memory配置，大堆允许更多读取阶段的临时对象（如缓冲区、元数据）在内存中暂存，不会被立即回收。

100GB配置下的额外内存占用对象 #

• 存储内存中的临时缓存块：读取文本文件时，Spark会将分区数据以块的形式存入存储内存（无需显式调用cache/persist），大堆下存储内存上限更高，这些块会被保留更久，不会被GC回收。
• 文件读取的临时对象：包括字符串实例、分区元数据（如分区索引、文件路径信息），大堆下内存充足，这些对象不会被快速GC，积累后占用额外内存。
• JVM内存池预留空间：新生代Survivor区等默认大小随总堆提升而扩大，间接推高堆内存峰值。
• Spark内部管理对象：BlockManager的索引对象、Task状态跟踪对象等，在大堆环境下会有一定程度的膨胀，尤其是处理19GB大文件时分区数较多，对应管理对象数量也更多。

内容的提问来源于stack exchange，提问作者Sprasad