使用overwrite写入Delta表时Data Lake Gen2底层数据未更新怎么办

当前写入逻辑触发了Spark对外部表的默认重定向行为：使用mode("overwrite")+saveAsTable写入已存在的外部表时，如果没有显式指定表对应的存储路径，Spark会删除原表的元数据映射，将表重定向到Spark默认数仓路径下生成新数据文件。此时查询表读到的是默认路径下的新数据，而最初配置的Data Lake Gen2存储路径下的原有Delta文件没有被任何写入操作触碰，自然不会发生变更。

以下两种写法都可以保证写入操作直接作用于指定的ADLS Gen2路径，不会出现路径重定向问题：

• 方案1：直接写入目标路径后刷新元数据（最稳妥，无隐式行为）

// 全量覆盖写入外部表对应的存储路径
tbl_snapshot_view.write
  .mode("overwrite")
  .format("delta")
  .save("/mnt/Storage/Silver/tbl_snapshot")

// 刷新表元数据，确保后续查询读取最新写入的版本
spark.sql("REFRESH TABLE externaltables.tbl_snapshot")

该写法下Delta的overwrite语义会正常生效：路径下会生成新的数据版本，旧版本数据会被标记为过期，后续执行VACUUM命令即可物理清理无效的旧文件。

• 方案2：使用saveAsTable时强制指定目标路径

tbl_snapshot_view.write
  .mode("overwrite")
  .format("delta")
  .option("path", "/mnt/Storage/Silver/tbl_snapshot") // 强制锁定写入路径，禁止Spark重定向表位置
  .saveAsTable("externaltables.tbl_snapshot")

如果写入的DataFrame结构和原Delta表schema存在差异，需要额外添加.option("overwriteSchema", "true")参数，避免写入时报schema不匹配错误。

避坑说明：

1. 无path参数的saveAsTable+overwrite模式操作外部表的路径重定向行为是Spark的内置逻辑，和存储格式无关，Parquet、ORC等格式的外部表执行同样操作也会出现该问题。
2. 如果之前的错误操作已经导致表的LOCATION被修改到Spark默认数仓路径，可以先执行ALTER TABLE externaltables.tbl_snapshot SET LOCATION '/mnt/Storage/Silver/tbl_snapshot'恢复路径映射，再执行覆盖写入操作。

内容的提问来源于stack exchange，提问作者venkat