如何避免重复执行逻辑多次展示PySpark DataFrame？

问题背景 #

我在Databricks笔记本中定义了一个PySpark DataFrame，执行了多种转换操作后，希望多次展示结果查看。但每次调用display()都会重新执行整个执行计划，而保存再加载DataFrame的方案在我的平台无法使用。请问有没有其他方案能避免重复执行逻辑？我能否用以下代码？

df.cache().count()
df.display()

不确定缓存是否能避免重新执行全部转换。另外看到一种方案：

当你缓存DataFrame时，为它创建一个新变量：cachedDF = df.cache()。
这能解决我们示例中遇到的问题——有时候很难分清分析后的执行计划和实际被缓存的内容。
之后无论你调用cachedDF.select(…)还是其他操作，都会复用缓存的数据。

不清楚这个方案的原理，也不确定是否能避免重新执行全部转换操作。

核心解决方案：正确使用PySpark缓存机制 #

PySpark的缓存是解决重复执行问题的标准方案，关键要掌握正确的使用姿势，确保后续操作命中缓存。

1. 你提供的代码为什么不生效 #

df.cache().count() 这行代码确实会触发缓存（count()是行动算子，会执行整个执行计划并把数据缓存），但后续调用df.display()还是会重新执行逻辑。原因很简单：

• df.cache()返回的是一个带缓存标记的新DataFrame实例，但原df变量并没有被更新。原df依然是未缓存的原始DataFrame，调用它的display()自然会重新跑一遍所有转换。

2. 推荐方案：创建缓存后的新变量 #

直接用资料里提到的方法就行，这是最稳妥的方式：

# 创建带缓存标记的新DataFrame
cachedDF = df.cache()
# 触发缓存执行（这一步会跑一次全量转换，把结果存入缓存）
cachedDF.count()
# 后续所有操作都用cachedDF，不会重复执行转换
cachedDF.display()
cachedDF.select("col1", "col2").display()

原理拆解

• df.cache() 本质是给DataFrame的执行计划添加了一个"缓存节点"，并返回这个新的执行计划对应的DataFrame实例。
• 行动算子（比如count()、display()）会触发执行计划的运行，此时Spark会把最终计算结果存入集群的内存（或磁盘，默认是MEMORY_AND_DISK级别）。
• 之后对cachedDF的任何操作，Spark都会直接读取缓存里的数据，跳过之前所有的转换步骤，直接基于缓存数据计算。

3. 额外注意点 #

• 缓存级别：默认cache()用的是MEMORY_AND_DISK，如果想只存在内存里，可以用persist()指定级别：cachedDF = df.persist(StorageLevel.MEMORY_ONLY)。
• 缓存清理：如果原数据源更新，或者手动调用cachedDF.unpersist()，缓存会失效，后续操作会重新执行逻辑。
• Databricks自动管理：Databricks会根据集群资源情况自动清理闲置的缓存，但如果笔记本一直在运行，缓存会保留。

内容的提问来源于stack exchange，提问作者Mohammad