Delta Live Tables检查点异常存于dbfs:/引发全量刷新问题问询

这不是Databricks的Bug，是DLT的默认配置逻辑导致的，以下是具体说明和解决方法：

• 默认行为逻辑：Delta Live Tables默认会把检查点元数据存在dbfs:/user/hive/warehouse/对应的数据库目录下，哪怕你已经指定表数据存储到Azure存储账户。检查点路径和表数据存储路径是两个独立的配置项，DLT不会自动同步表的存储位置到检查点路径。

• 全量刷新的触发原因：如果任务重启、重新部署流水线时没指定固定的检查点路径，DLT找不到之前的增量状态记录，就会判定为全新任务，触发全量刷新。

• 修复操作步骤：

  1. 在DLT流水线的高级配置里，显式指定检查点根路径到Azure存储：

     spark.databricks.delta.live.checkpointLocation = abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<检查点根目录>
     

  2. 也可以在单个表的定义里单独设置检查点路径：

     CREATE INCREMENTAL LIVE TABLE my_target_table
     COMMENT "带自定义检查点的增量表"
     LOCATION "abfss://<容器名>@<存储账户名>.dfs.core.windows.net/table-data-path"
     TBLPROPERTIES (
       "delta.checkpointLocation" = "abfss://<容器名>@<存储账户名>.dfs.core.windows.net/table-checkpoint-path"
     )
     AS SELECT ... FROM source_table
     

  3. 确认流水线运行所用的服务主体或账户拥有Azure存储账户的读写权限，避免检查点写入失败。

• 关键注意点：

  • 自定义检查点路径一旦设定就别随意修改，否则会丢失增量状态，再次触发全量刷新。
  • 开发和生产工作区要保持相同的检查点路径配置，避免跨环境的状态丢失。

内容的提问来源于stack exchange，提问作者Antonio Fernández