Spark执行DataFrame转换时是否会通过记忆化机制复用计算结果？

你给出的场景下，Spark会对3条成绩为30的记录逐行执行30 - average运算，不会跨记录复用同值表达式的计算结果。

核心逻辑说明 #

• Spark原生没有跨数据行的表达式级记忆化设计。示例代码里的withColumn属于逐行投影转换，核心处理逻辑是遍历分区内每一条记录，按定义的表达式逐行计算新列值，不会因为多行输入的计算参数完全一致，就缓存之前的计算结果做复用。
• 代码中的lit(average)是字面量常量，Spark的Catalyst优化器在物理计划生成阶段的常量折叠步骤，就会提前把这个常量值固定，不会在运行时逐行重复解析lit(average)的取值，但「当前行Grade值减去固定常量average」这个减法操作，依然是行级执行的。
• Spark自带的记忆化能力（cache()/persist()）是针对整个DataFrame/RDD的中间计算结果设计的，作用是避免重复回溯整条RDD血缘链路做重算，不是针对单条表达式、跨同值行的细粒度结果复用。
• Spark 2.0之后版本支持的公共子表达式消除（CSE）优化，仅针对同一行内重复出现的相同表达式做计算复用：比如你在同一行同时用Grade - average计算两个不同列，优化器会只算一次结果复用，不会跨行做值匹配缓存。对简单算术运算来说，跨行做哈希缓存、查找的开销远高于直接做一次减法的开销，这类优化完全没有性能收益，Spark也没有做对应实现。
• 题目中提到的单分区设定不会改变这个逻辑：单分区只是意味着所有数据在同一个task内处理，不需要做跨节点shuffle，分区内的行遍历逻辑和多分区场景没有区别，不会额外启用同值计算复用。

内容的提问来源于stack exchange，提问作者BenjaminC