Spark Structured Streaming：无界表是否留存无用数据？select列读取逻辑？

问题一：执行df.select("name")时，是先读取所有列再筛选，还是先丢弃非name列再读取？ #

这取决于你的数据源是否支持**列裁剪（Column Pruning）**优化：

• 如果数据源本身支持列级别的读取（比如Parquet、ORC、带Schema的Kafka消息、JDBC数据源等），Spark会把select("name")的裁剪逻辑下推到数据源端，只读取name列，不会加载其他列的数据。
• 如果是不支持列裁剪的数据源（比如无Schema的纯文本CSV、普通文本文件），Spark只能先读取整行数据，然后在读取后的第一个处理阶段就把非name列丢弃，不会带着多余列进入后续计算流程。

不管哪种情况，Spark的优化器都会尽可能早地过滤掉不需要的列，避免不必要的数据传输和内存占用。

问题二：Spark是否会在无界表中保留不需要的数据？ #

首先要明确：无界表是逻辑上的抽象概念，Spark并不会在内存或磁盘中持久化整个无界表的所有数据。

• 对于经过列裁剪后不需要的列，在处理流程的早期就已经被丢弃了，不会进入后续的处理环节，更不会被保留在所谓的“无界表”中。
• 对于处理过的行数据，Spark会按照处理模式（微批/连续处理），在完成当前批次的计算后，除了有状态计算需要保留的中间状态（比如窗口聚合的中间结果），其余不需要的原始数据会被清理回收，不会长期存储。

内容的提问来源于stack exchange，提问作者beatrice