PySpark中无参数persist()与cache()是否存在本质差异？

简单结论：无参数的persist()和cache()在功能、底层实现上没有任何重大差异——cache()本质就是无参数persist()的语法糖，两者默认使用的存储级别完全一致。

底层实现细节 #

在PySpark的源码中，cache()方法的实现直接调用了无参数的persist()：

def cache(self):
    """Persist this RDD with the default storage level (MEMORY_ONLY)."""
    self.persist()
    return self

而无参数的persist()方法默认使用StorageLevel.MEMORY_ONLY作为存储级别：

def persist(self, storageLevel: StorageLevel = StorageLevel.MEMORY_ONLY):
    """Persist this RDD with the default storage level (MEMORY_ONLY)."""
    self._jrdd = self._jrdd.persist(storageLevel._jlevel)
    return self

这意味着调用rdd.cache()和rdd.persist()的效果完全等价，最终都会把RDD以内存优先、反序列化对象的形式缓存（当内存不足时，未缓存的分区会在需要时重新计算）。

使用场景区别 #

• 如果只需要默认的内存缓存，cache()写法更简洁直观；
• 如果需要自定义存储级别（比如内存+磁盘混合存储、仅磁盘存储、序列化存储等），则必须使用带参数的persist(storageLevel)，例如：

  from pyspark import StorageLevel
  rdd.persist(StorageLevel.MEMORY_AND_DISK)
  

注意事项 #

无论使用cache()还是无参数persist()，缓存的RDD都不会自动清理，需要手动调用unpersist()释放资源；另外，缓存操作是惰性的，只有当RDD触发行动操作（如count()、collect()）时，缓存才会实际执行。

内容的提问来源于stack exchange，提问作者Fernando Córdoba