Azure Databricks中PySpark传全局临时视图至Scala Notebook为空问题

我有一个Azure Databricks工作流，通过PySpark Notebook调用遗留的Scala Notebook处理一批表。具体流程如下：

1. PySpark Notebook中读取数据并创建全局临时视图，再调用Scala Notebook：

# pyspark notebook
df = read_from_database()
df.createOrReplaceGlobalTempView("view_name")

result = dbutils.notebook.run(
                notebook_path, timeout, {
                "input_view": "global_temp.view_name"
          })

2. Scala Notebook中读取该全局临时视图时，部分表的视图仅能读取到Schema但无数据：

// scala notebook
var df = spark.table("global_temp.view_name")

3. 但如果在PySpark中创建视图前先缓存DataFrame，数据就能在Scala Notebook中正常显示：

# pyspark notebook
df = read_from_database()
df.cache()
df.createOrReplaceGlobalTempView("view_name")

想请教：为何仅部分特定表会出现此问题，且这些表与正常表无特殊Schema或数据类型差异？

出现这种现象的核心原因和Spark的懒执行机制、全局临时视图的数据生命周期，以及Databricks跨Notebook执行的上下文特性有关，具体拆解如下：

• Spark懒执行的隐性影响
  Spark DataFrame默认是懒加载模式，createOrReplaceGlobalTempView只是把DataFrame的执行计划注册到元数据中，并没有实际触发数据计算。当通过dbutils.notebook.run调用Scala Notebook时，PySpark的执行上下文可能已经进入收尾阶段——如果原DataFrame从未被触发计算（比如没执行count()、show()或缓存），全局临时视图对应的底层数据依赖可能被Spark垃圾回收机制清理，导致Scala端只能读到留存的Schema元数据，却读不到实际数据。

• 部分表触发问题的隐性差异
  你认为这些表和正常表无差异，但实际可能存在以下隐性区别：

  • 数据量大小：小表可能被Spark自动优化为本地执行，注册视图时就完成了数据加载；而大表会保持懒加载状态，依赖PySpark上下文维持数据链路；
  • 数据源特性：部分数据源（如特定JDBC驱动）读取时仅预加载Schema，不加载全量数据；若PySpark上下文关闭后数据源连接被释放，Scala端无法再拉取数据；
  • 执行计划复杂度：包含复杂过滤、关联的表会延迟计算，而简单读取的表可能提前完成计算并保留数据。

• 缓存操作解决问题的本质
  df.cache()会强制触发DataFrame的计算，并将数据持久化到Spark集群的存储层（内存/磁盘）。此时全局临时视图指向的是已计算完成的持久化数据，而非未执行的逻辑计划。即使PySpark上下文收尾，持久化的数据依然保留，Scala Notebook的上下文可以正常读取到完整数据。

内容的提问来源于stack exchange，提问作者AGK