PySpark脚本删除变量后内存未释放，如何有效清理内存？

针对你遇到的内存无法及时释放问题，核心原因是PySpark的JVM进程内存与Python进程内存相互独立，常规操作可能只触发了部分清理，未彻底推动垃圾回收机制执行。以下是具体的有效清理步骤：

• 彻底清理Spark端缓存：
  除了spark.catalog.clearCache()，对每个DataFrame显式调用同步清理方法：

  df1.unpersist(blocking=True)
  df2.unpersist(blocking=True)
  df3.unpersist(blocking=True)
  spark.catalog.clearCache()
  

  blocking=True会等待缓存完全释放后再执行后续代码，避免异步清理的延迟。

• 强制触发JVM垃圾回收：
  通过Spark网关直接调用JVM的垃圾回收机制，主动释放JVM内存：

  spark.sparkContext._gateway.jvm.System.gc()
  

• 清理Python端内存：
  删除变量后，手动触发Python的垃圾回收，避免Python进程持有内存不释放：

  del df1, df2, df3
  import gc
  gc.collect()
  

• 确保Spark会话完全终止：
  调用spark.stop()后，可额外确认SparkContext已停止，避免残留资源：

  spark.stop()
  # 可选：检查上下文状态
  if spark.sparkContext._jsc is None:
      print("Spark会话已完全终止")
  

• 源头优化内存占用：
  读取JDBC数据时，通过配置fetchSize控制单次拉取的数据量，减少内存峰值：

  df = spark.read.format("jdbc") \
      .option("url", "jdbc:mysql://host:port/db") \
      .option("dbtable", "table") \
      .option("user", "user") \
      .option("password", "pass") \
      .option("fetchSize", "10000")  # 调整为合适的批次大小
      .load()
  

需要注意：即使执行以上操作，内存可能不会立刻回到初始值（JVM垃圾回收存在一定延迟），但会显著降低内存占用。若内存仍居高不下，需检查是否有其他未释放的RDD、广播变量或临时视图。

内容的提问来源于stack exchange，提问作者jbds