Spark SQL能否复用已有查询结果优化后续执行？

结论：默认情况下不会复用 #

你描述的场景里，Spark不会自动利用前一次查询view1 limit 1000的结果来优化view2 limit 1000的执行，原因如下：

• Spark的DataFrame/View默认是惰性求值，且没有自动缓存机制。第一次collect()只是把view1 limit 1000的结果拉到Driver端，但不会把整个view1的数据集或者查询结果持久化到Executor的缓存中。
• view2是基于view1的过滤查询，Spark会重新生成独立的执行计划，从头扫描view1的数据源并执行过滤逻辑，不会识别并复用之前Driver端已经拿到的那1000条数据——因为Driver端的结果只是客户端数据，不是Spark计算层可复用的缓存数据源。

如何实现结果复用？ #

如果想让后续查询复用view1的计算结果，需要显式触发缓存：

• 方式一：在创建view1后，直接缓存对应的数据集：

  // 创建view1后执行缓存
  sqlContext.sql("select * from view1").cache()
  // 或者创建view1的DataFrame时直接缓存
  val view1DF = ... // 生成view1的DataFrame逻辑
  view1DF.cache().createOrReplaceTempView("view1")
  

• 方式二：使用SQL命令直接缓存表：

  sqlContext.sql("CACHE TABLE view1")
  

当你执行第一次collect()时，Spark会把view1的数据集缓存到Executor的内存（或指定存储介质）中，后续查询view2时，Spark的优化器会直接从缓存中读取view1的数据，再执行过滤和limit操作，从而避免重复扫描原始数据源，提升性能。

针对Livy会话的补充说明 #

在Livy交互式会话中，缓存的生命周期和会话绑定——只要会话未关闭，缓存的数据集就会保留。你可以通过sqlContext.sql("UNCACHE TABLE view1")手动清理不再需要的缓存，避免占用过多资源。

内容的提问来源于stack exchange，提问作者user2988877