Databricks创建Parquet文件后无法访问DBFS中的Delta表

问题原因 #

• 你执行的Parquet写入使用了mode("overwrite")，目标路径是包含子Delta表的父目录/mnt/dev/lvl1/lvl2/。这个操作会破坏父目录的元数据结构，虽然lvl2_1、lvl2_2的物理文件（_delta_log、committed等）还存在，但Delta Lake识别表时会依赖目录的元数据一致性，父目录下新增的Parquet文件会干扰系统对其子Delta表的正常识别，导致抛出表不存在的异常。
• 本质上，父目录被写入Parquet文件后，Delta Lake无法再正确识别子目录作为独立Delta表的身份。

避免方法 #

• 严格隔离目录：不要在包含子Delta表的父目录下直接写入其他类型文件，给Parquet数据单独分配子目录，比如写入到/mnt/dev/lvl1/lvl2/parquet_data/而非lvl2根目录。
• 替换写入模式：如果业务允许，将mode("overwrite")改为mode("append")，避免覆盖父目录元数据，但这种方法仍可能留下潜在干扰，优先推荐目录隔离方案。
• 操作前备份子表：如果必须在父目录执行overwrite，先将lvl2_1、lvl2_2备份到其他路径，操作完成后再恢复。
• 规范目录结构：将Parquet、Delta等不同类型的数据集放在完全独立的目录层级，从根源避免交叉写入的冲突。

内容的提问来源于stack exchange，提问作者J_gsaw23