Databricks建表报错路径非空且非Delta表成因问询

• 存储与计算完全分离：DBFS（Databricks文件系统）是独立于计算集群的共享存储服务，集群的启停、销毁操作只会释放计算资源，不会修改或删除DBFS中已写入的任何文件，你所说的表残留数据本身存储在共享DBFS路径下，自然不会随旧集群终止而消失。
• DROP TABLE操作的逻辑限制：如果之前的dublicates_hotels表是外部表、或是非Delta格式的托管表，执行DROP TABLE IF EXISTS只会删除Hive元数据服务中记录的表结构信息，不会同步删除DBFS对应路径下的实际数据文件，导致路径残留非Delta格式的旧数据。
• 建表校验规则触发：Databricks默认创建的表为Delta格式，执行CREATE TABLE时会自动校验目标存储路径：如果路径非空，但路径下不存在Delta表专属的_delta_log事务日志目录，就会抛出该异常，避免意外覆盖非Delta格式的存量数据。

• 删表时添加PURGE关键字：执行DROP TABLE IF EXISTS dublicates_hotels PURGE，会在删除元数据的同时强制清理对应DBFS路径下的所有文件，从根源避免数据残留。
• 建表时开启兼容配置（不推荐生产使用）：如果确认可以覆盖路径下的旧数据，可在执行建表语句前先运行SET spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation = true，跳过非空路径校验。
• 测试场景优先用临时表：临时表的存储绑定到当前集群生命周期，集群终止后对应数据会自动清理，不会在全局DBFS中留下残留文件。

内容的提问来源于stack exchange，提问作者QbS