SparkSession/SparkContext/RDD是否有稳定方法可检测缓存逐出行为？

首先明确结论：截至Spark 3.x最新稳定版本，没有对外公开的、可直接通过SparkSession/SparkContext/RDD调用的稳定API，能直接便捷地检测缓存逐出事件的发生。

以下是几种常用的替代检测方案：

• 基于度量指标间接统计
  Spark内置度量系统会统计全局cache evictions指标，记录所有RDD、Dataset缓存分区被逐出的总次数，你可以从Spark UI的存储页面直接查看，也可以通过SparkContext.statusTracker获取实时存储状态，对比同一时间段内缓存分区数量的变化间接判断是否发生了逐出。
• 自定义Spark监听器捕获事件
  这是代码侧最可靠的检测方案：实现SparkListener接口，重写onBlockUpdated方法，当缓存块被标记为从内存中移除时，即可判定为发生逐出，参考实现代码如下：

  import org.apache.spark.scheduler.{SparkListener, SparkListenerBlockUpdated}
  
  class CacheEvictionListener extends SparkListener {
    override def onBlockUpdated(event: SparkListenerBlockUpdated): Unit = {
      val blockInfo = event.blockUpdatedInfo
      // 判定条件：块原本存储在内存中，现在被从内存移除
      if (blockInfo.droppedFromMemory) {
        // 此处写入你自己的逐出处理逻辑
        println(s"检测到缓存块${blockInfo.blockId}被逐出内存")
      }
    }
  }
  // 向SparkContext注册监听器即可生效
  spark.sparkContext.addSparkListener(new CacheEvictionListener)
  

• 单RDD缓存状态对比
  针对单个已缓存的RDD，可以定期调用rdd.getCachedPartitions.length获取当前实际缓存的分区数量，和RDD总分区数rdd.getNumPartitions对比，如果缓存分区数出现下降且你没有手动调用过unpersist方法，即可判定该RDD发生了缓存逐出。

补充说明：如果需要避免非预期的缓存逐出，可以适当调大spark.storage.memoryFraction参数提升存储内存占比，或者将缓存级别设置为MEMORY_AND_DISK，这样被逐出的分区只会转存到磁盘，不会丢失无需重新计算。

内容的提问来源于stack exchange，提问作者samthebest