Databricks Updating the Delta table's state阶段原因及优化方案

阶段核心执行操作 #

该阶段是Delta Lake完成数据写入后的事务提交阶段，核心执行以下操作：

• 元数据冲突校验：首先读取目标Delta表最新的事务日志，校验当前写入操作的schema、写入模式（append/overwrite/merge等）是否与表现有配置冲突，同时检测是否有其他并发写入的事务已提交，避免数据一致性问题。
• 写入文件元数据归集：归集本次计算生成的所有数据文件的路径、大小、行数、所属分区等全量元信息，将这些信息写入事务日志的新版本文件中；如果是覆盖或合并写入操作，还会同步标记需要被软删除的旧数据文件。
• 表统计信息更新：默认会扫描新写入文件的列级统计值（最大值、最小值、空值占比等），更新到表的元数据中，用于后续执行计划优化。关联的Delta表越多，通常生成的结果列数、文件数越多，该步骤的耗时就会越长。
• 可选的旧版本清理：如果目标表开启了自动VACUUM配置，该阶段还会触发过期历史版本、无效数据文件的清理逻辑，进一步拉长耗时。

优化方案 #

• 减少写入文件数量：写入前通过repartition/coalesce算子控制输出文件量级，也可以开启自动优化写入参数spark.databricks.delta.optimizeWrite.enabled = true，由Databricks自动合并小文件，大幅降低元数据归集的工作量。
• 裁剪统计信息收集范围：如果不需要列级统计用于查询优化，可以直接关闭统计收集：spark.databricks.delta.stats.collect = false；如果仅需要部分重点列的统计，可以配置spark.databricks.delta.stats.collect.columns = <列名1,列名2...>，减少统计扫描的耗时。
• 关闭写入阶段自动清理：将过期版本清理逻辑从写入流程剥离，改为定时离线执行VACUUM命令，对应关闭参数为spark.databricks.delta.vacuum.automatic.enabled = false，避免写入时触发清理逻辑。
• 优化目标表结构：对大体积目标表按高频过滤字段做分区、分桶设计，元数据会按分区拆分存储，更新和读取的效率都会有明显提升。
• 启用新版本提交协议：Databricks环境下可以开启V2版提交协议：spark.databricks.delta.commitProtocol.enabled = v2，优化元数据写入流程，降低大表事务提交的耗时。

内容的提问来源于stack exchange，提问作者elyptikus