Databricks问题：Merge操作后DataFrame与临时视图数据丢失

核心原因 #

1. Spark惰性求值特性
   Spark DataFrame本身不存储实际数据，仅记录计算逻辑（如join、filter等操作）。只有执行show()、count()这类Action操作时，才会触发真实计算。你代码中第一次myDf.show()触发计算得到数据，但后续再次执行myDf.show()时，会重新执行getEmployeeData()中的全部逻辑，而非复用之前的结果。

2. getEmployeeData()逻辑依赖目标表employee
   从你提供的getEmployeeData()代码来看，它的逻辑是df1 join df2后过滤再选择字段。如果finalFilterString包含依赖employee表内容的条件（比如筛选employee表中不存在的记录），那么Merge操作完成后，employee表已插入/更新这些记录，再次执行过滤逻辑时，这些记录会被过滤掉，导致结果为空。

3. 临时视图未物化数据
   createOrReplaceTempView只是将DataFrame的逻辑计划注册为视图，并未物化存储数据。每次查询myView时，都会重新执行对应的逻辑计划，结果自然和重新计算后的myDf一致，变为空表。

验证方法 #

• 在Merge操作前，对myDf进行缓存：

  val myDf = getEmployeeData()
  myDf.cache() // 缓存数据
  myDf.createOrReplaceTempView("myView")
  

  之后执行Merge和show()，如果此时myDf.show()仍能显示数据，即可确认是重新计算导致的问题。
• 检查finalFilterString内容，确认是否包含依赖employee表的过滤条件。

解决办法 #

• 缓存数据：若需保留Merge前的myDf数据，在创建视图前缓存DataFrame，避免重复计算。
• 物化临时表：将myDf的数据写入物化的临时表，而非仅注册逻辑视图：

  val myDf = getEmployeeData()
  myDf.write.mode("overwrite").saveAsTable("temp_my_view") // 物化数据到临时表
  
  // Merge时使用物化的临时表
  val sql = s"""MERGE INTO employee AS a
          USING  temp_my_view AS b
          ON a.Id = b.Id
          WHEN MATCHED THEN UPDATE SET *
          WHEN NOT MATCHED THEN INSERT *"""
  spark.sql(sql)
  

  后续查询temp_my_view时，会直接读取物化的数据，不会重新执行原逻辑。

内容的提问来源于stack exchange，提问作者ConfusedDeveloper