Azure Databricks中底层表删除后Spark仍能显示DataFrame输出的原因？

首先要指出你代码里的一个小笔误：df = test_view.drop("col1")在Spark中无法直接执行，因为test_view是临时视图的名称，不是DataFrame变量，正确写法应该是df = spark.table("test_view").drop("col1")。假设这是输入时的疏忽，我们基于正确的逻辑来解释核心问题：

为什么删除底层表后仍能正常显示结果？ #

1. 临时视图的生命周期独立于物理表
   你通过spark.table("table1").createOrReplaceTempView("test_view")创建的临时视图，是和当前Spark Session绑定的。执行DROP TABLE table1只会删除底层的物理表及其在Metastore中的元数据，但Spark Session的Catalog里依然保留着临时视图的定义（包括查询逻辑、表结构信息），不会随物理表删除而立即失效。

2. 元数据缓存与数据文件的留存

   • 当你执行spark.table("table1")时，Spark会立即加载该表的元数据（schema、存储路径等）并缓存到Session中。即使后续删除物理表，短时间内缓存的元数据不会过期，Spark执行动作时仍会尝试通过缓存的路径读取数据。
   • 如果table1是Delta Lake表，DROP TABLE默认是软删除：仅删除Metastore中的表记录，实际数据文件会保留一段时间（默认7天，可通过配置修改）。此时Spark执行计划时，依然能找到存储路径下的数据文件，自然可以正常读取和显示结果。

3. 延迟计算的触发逻辑
   Spark的延迟计算是针对数据的实际读取和计算操作，但元数据的加载（比如获取表的结构、存储位置）是立即执行的。所以即使你在动作执行前删除了物理表，Spark已经掌握了数据的位置和结构信息，只要数据文件还存在（或元数据缓存未失效），就能完成后续的计算和显示。

验证方法 #

如果想确认这个逻辑，可以尝试以下操作：

• 等待Delta表的软删除过期（或手动清理数据文件）后再执行df.display()，此时会出现表无法解析的错误。
• 重启Spark Session后重新执行代码，临时视图已随Session销毁，必然会报错。

内容的提问来源于stack exchange，提问作者uzair