Spark DataFrame惰性求值：调用select指定列时是否仅计算该列？

已知Spark仅在调用Action操作（如对DataFrame执行show）时才会执行实际计算，现对其惰性求值特性的延伸存在疑问。

假设创建包含3列的DataFrame场景：

val df = otherDF
.withColumn("aaa", lit("AAA"))
.withColumn("bbb", lit("BBB"))
.withColumn("ccc", lit("CCC"))

随后仅选择其中一列并触发Action：

df
.select("aaa")
.show

Spark会仅计算所需的"aaa"列、忽略其他列吗？还是会先计算所有列再通过select过滤输出子集？

实际场景为：需创建包含大量列与复杂转换的"master" DataFrame，后续子进程仅选择其中部分列并按需添加特定列，希望确保仅需10%列的子进程不会因全量计算主DataFrame而受性能影响。

Spark会仅计算所需的列，不会全量计算所有列后再过滤。这得益于Spark的Catalyst优化器提供的**列裁剪（Column Pruning）**优化能力：

• 当你执行select("aaa").show()时，优化器会分析整个执行计划，识别出只有aaa列是最终查询需要的，因此会直接跳过bbb和ccc列的生成逻辑，只执行withColumn("aaa", lit("AAA"))这一步计算。
• 对于你提到的实际场景，只要后续子进程只选择部分列，Spark会自动裁剪掉不需要的列对应的转换逻辑，不会浪费资源去计算那些用不到的复杂列。

需要注意的是：如果某列的计算依赖于其他列（比如某列是基于aaa和bbb推导出来的，而你选择了这列），Spark会计算该列依赖的必要列，但依然会忽略无关的列。

内容的提问来源于stack exchange，提问作者Silva_PT_SCP