《Learning Spark》中persist作动作使用及RDD持久化代码疑问

嘿，这个问题问得特别到位，刚好戳中了Spark初学者容易混淆的几个核心点，我来一步步给你理清楚～

一、为什么《Learning Spark》里persist看似被当作动作使用？ #

首先得明确一个核心概念：persist本身是转换操作（transformation），不是动作（action）。它的作用仅仅是给目标RDD打上一个「需要持久化」的标记，但不会立即执行任何计算或存储操作——只有当后续遇到真正的动作（比如count、collect）时，Spark才会在完成计算后，把这个RDD的数据持久化到你指定的存储级别（比如示例里的磁盘）。

书里的写法可能让你误以为persist是“立即生效”的动作，但本质上它还是懒加载的转换。之所以看起来像动作，是因为它的效果必须结合动作才能体现出来，单独调用persist不会有任何实际的存储行为发生。

二、那段代码真的能持久化result RDD吗？ #

你的疑惑完全正确，因为Spark里的RDD确实是不可变的——一旦创建就不能修改。我们来拆解这段代码的问题：

val result = input.map(x => x * x)
result.persist(StorageLevel.DISK_ONLY) // 这里是关键问题！
println(result.count())
println(result.collect().mkString(","))

result.persist()方法其实会返回一个全新的RDD实例，这个新RDD才带有「需要持久化」的标记，但原来的result变量（因为是Scala的val，不可重新赋值）仍然指向最初那个没有标记的RDD。所以后续调用result.count()和result.collect()时，Spark还是会基于原始的未标记RDD重新计算两次map(x => x*x)操作，完全没有用到持久化的功能。

你自己写的改进版本才是正确的：

val result = input.map(x => x * x)
val persistedResult = result.persist(StorageLevel.DISK_ONLY)
println(persistedResult.count()) // 第一次动作：计算并持久化persistedResult到磁盘
println(persistedResult.collect().mkString(",")) // 第二次动作：直接读取磁盘里的持久化数据，无需重新计算map

至于书里为什么有很多类似的写法，可能是为了简化示例、减少代码行数，但从严格的代码正确性来说，这种写法是有问题的——它无法达到预期的持久化效果。如果你实际运行这两段代码，会发现原版代码的两次动作都会触发map的计算（可以通过打印调试信息或查看Spark UI验证），而改进版只会计算一次。

内容的提问来源于stack exchange，提问作者Pavel Orekhov