Spark不同版本getPersistentRDDs行为差异及全缓存对象获取问询

一、为什么Spark 2.4.7中getPersistentRDDs不再返回缓存的DataFrame？ #

这个差异源于Spark对DataFrame缓存机制的架构优化：

• 在Spark 2.2.x及更早版本中，DataFrame的缓存本质是依赖底层RDD的持久化实现——调用df.cache()时，Spark会把DataFrame对应的逻辑计划转换为RDD并标记持久化，所以getPersistentRDDs（Core层的RDD持久化跟踪API）能捕获到这些RDD。
• 从Spark 2.3版本开始，Spark SQL引入了独立的列式缓存管理体系：DataFrame/Dataset的缓存不再绑定到Core层的RDD持久化，而是通过SQLContext.cacheManager管理，存储为更高效的列式格式。此时getPersistentRDDs作为Core层API，只会跟踪通过RDD原生API（如rdd.cache()）持久化的对象，自然看不到Spark SQL缓存的DataFrame。

二、如何获取包含DataFrame在内的所有缓存对象？ #

要覆盖RDD和DataFrame的全量缓存，需要同时从Core层和SQL层的缓存系统获取信息：

1. 获取缓存的DataFrame/Dataset #

通过Spark SQL的缓存管理器直接查询：

// 获取所有缓存的DataFrame及其元信息
val cachedDFs = spark.sharedState.cacheManager.cachedData.map { cachedEntry =>
  val df = cachedEntry.dataFrame
  val dfDesc = df.queryExecution.analyzed.toString() // 生成DataFrame的逻辑计划描述
  (dfDesc, df)
}

2. 获取缓存的RDD #

继续使用Core层的getPersistentRDDs：

val cachedRDDs = spark.sparkContext.getPersistentRDDs

3. 合并全量缓存对象（可选） #

如果需要统一处理，可以将两者合并为一个集合：

// 合并RDD和DataFrame的缓存信息，统一为键值对格式
val allCachedObjects = cachedRDDs ++ cachedDFs.map { case (desc, df) =>
  (desc, df.asInstanceOf[Any]) // 统一类型，方便后续遍历
}

另外，如果你只是需要快速查看所有缓存对象，Spark UI的Storage页面会直观展示所有缓存的RDD和DataFrame，包括存储大小、分区数等详细信息，这是最便捷的方式。

内容的提问来源于stack exchange，提问作者avgolubev