停止Spark-Shell实例后如何释放RAM内存？

• 强制清理残留进程：退出spark-shell后，可能存在未彻底终止的Spark相关Java进程（如ExecutorBackend、SparkSubmit、Worker），占用内存不释放。先用jps命令列出所有Java进程，定位目标进程ID，再执行kill -9 <进程ID>强制终止，直接释放对应内存。
• 优化Spark启动配置：启动spark-shell时，通过参数限制内存占用并避免内存泄漏：
  • 设置spark.executor.memoryOverhead和spark.driver.memoryOverhead，控制堆外内存上限，示例启动命令：spark-shell --conf spark.executor.memoryOverhead=256m --conf spark.driver.memoryOverhead=256m
  • 添加spark.driver.allowMultipleContexts=false，防止多Spark上下文导致的内存残留
• 手动触发垃圾回收：在退出spark-shell前，执行System.gc()手动触发JVM垃圾回收，辅助释放堆内存，但这仅作为补充手段，核心还是确保进程完全终止
• 区分系统缓存与实际占用：用free -h查看内存状态，其中buff/cache是系统磁盘缓存，属于系统自动管理的可回收内存，并非Spark残留的占用，当有新进程需要内存时系统会自动释放这部分资源，无需手动操作

内容的提问来源于stack exchange，提问作者Buggy