Databricks Spark SQL查询快但show()展示数据慢的底层原因咨询

• 惰性执行的本质差异：pages = spark.sql('select * from table xx')只是完成了SQL的解析和逻辑执行计划的构建，属于转换操作(Transformation)，不会触发任何实际的数据读取或计算，所以几乎瞬间完成。而show(n=10)是行动操作(Action)，会触发整个执行计划的落地执行，真正开始处理数据。
• 大表的全量扫描开销：即使只需要10条数据，如果目标表没有合适的分区、索引，或者数据源不支持limit下推，Spark可能需要扫描整个大表的所有数据文件才能筛选出前10条记录。分布式存储上的大表通常由大量数据块组成，遍历这些块的IO开销极大，直接导致耗时飙升。
• 分布式数据的拉取与序列化成本：show()需要将分布式节点上的数据拉取到Driver端进行展示，这个过程涉及网络传输、数据序列化/反序列化。大表场景下，即使最终只取10条，也可能需要先读取若干数据块才能筛选出符合要求的记录，加上网络延迟，进一步拉长了耗时。
• 执行计划优化的局限性：如果SQL中包含复杂操作（比如自定义UDF、复杂类型字段），或者数据源本身不支持谓词下推/limit下推，Spark优化器无法将limit 10的逻辑下推到数据源层，只能先全表扫描后再过滤，这也是导致慢的关键因素。

内容的提问来源于stack exchange，提问作者disruptive