Spark惰性求值工作原理及DataFrame过滤执行机制咨询

Spark遵循**惰性求值（Lazy Evaluation）**的执行模式，你的理解和实际情况有很大区别，具体流程如下：

1. 执行df2 = df1.filter(df1.age > 23)时，Spark不会立即处理任何数据。这一步只是在Spark的逻辑执行计划中添加了一个过滤节点，df2本质上是一个"待计算的逻辑描述"，没有实际的数据生成。

2. 只有当你调用df2.collect()这个行动算子时，Spark才会触发真正的计算流程：

   • 首先Spark会对整个逻辑计划（从df1的数据源读取到过滤操作）进行优化，生成高效的物理执行计划。比如如果df1的数据源支持谓词下推（像Parquet、ORC这类列式存储），Spark会直接让数据源只返回age>23的行，甚至只读取必要的列（name、age、city），大幅减少IO开销。
   • 随后Spark会把计算任务拆分成多个分区，分布式并行处理：每个分区只处理自己范围内的数据，过滤掉age≤23的行，不会一次性把1GB的df1全加载到单节点内存。
   • 最后，所有分区处理后的结果会被拉取到Driver节点，组合成本地的Python列表返回。

简单说：Spark不会先加载全量数据再过滤，而是先规划好要做什么，等触发行动算子后，再分布式地按需处理数据，尽可能减少不必要的资源消耗。

内容的提问来源于stack exchange，提问作者Techo Fast