Spark 2.4.5中Delta表symlink_format_manifest非增量生成问题求助

核心原因 #

你当前使用的适配Spark 2.4.5的旧版本Delta Lake，默认会全量生成所有分区的symlink清单，没有增量生成逻辑，导致每次耗时占比过高。

解决方案步骤 #

1. 升级Delta Lake版本
   Spark 2.4.5兼容的最高Delta版本是0.8.0，将项目依赖替换为：

io.delta:delta-core_2.11:0.8.0

该版本开始支持generate方法的partitionFilters参数，可实现增量生成清单。

2. 动态获取新增分区并增量生成
   在写入数据后，提取本次新增的分区条件，传入generate方法，仅针对新分区生成清单：

// 假设分区字段为dt，从待写入的DataFrame中提取所有新增分区值
val newPartitionConditions = df.select("dt")
  .distinct()
  .collect()
  .map(row => s"dt='${row.getAs[String]("dt")}'")
  .mkString(" OR ")

val deltaTable = DeltaTable.forPath(deltaPath)
// 仅处理新增分区的symlink清单生成
deltaTable.generate(
  "symlink_format_manifest",
  Map("partitionFilters" -> newPartitionConditions)
)

• 若为多分区字段（如dt和hour），调整条件为s"dt='2024-05-20' AND hour='12'"，并对应修改分区值提取逻辑。
• 需确保每次写入的DataFrame仅包含新增分区的数据，保证提取的条件准确。

3. 首次运行注意事项
   如果此前未生成过全量symlink清单，需先执行一次全量生成，后续再使用增量方式即可。

内容的提问来源于stack exchange，提问作者hsnsd