Databricks Delta表分区修改后全分区新增文件问题咨询

问题原因 #

你出现所有分区都被更新的核心原因是使用了默认的全表overwrite模式：
mode("overwrite")在未做额外配置的情况下，默认行为是覆盖整张表的所有数据，哪怕你只修改了部分行，Spark也会把新DataFrame包含的所有分区全部写入，替换原表的对应分区，因此所有城市的分区都会生成新版本。

分区操作合理性说明 #

你选择Name和Date作为分区列的操作是正确的：
分区的核心作用是将相同分区列值的数据存储在独立的物理文件夹中，后续查询如果携带Name、Date的过滤条件，Delta会直接跳过不匹配的分区文件夹，不需要扫描全表数据，大幅降低IO开销，提升查询性能。如果你的业务查询大多会按城市、日期维度筛选，这个分区策略非常合适。

仅更新修改分区的正确写入方式 #

你可以根据修改场景选择以下两种方案：

方案1：动态分区覆盖（适合批量重写部分分区的场景） #

开启Spark动态分区覆盖参数，此时overwrite模式只会覆盖新DataFrame中存在的分区，原表中其他未出现在新DataFrame中的分区会保留，不会被修改。
示例代码：

# 开启动态分区覆盖配置
spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")

# 写入时仅覆盖新DF包含的分区（即柏林相关的两个分区）
cities_updated.write.partitionBy("Name", "Date")\
  .format("delta")\
  .mode("overwrite")\
  .option("overwriteSchema", True)\
  .saveAsTable("covid_cities")

方案2：Delta行级更新（适合少量行修改的场景） #

如果仅需要修改少量行的字段值，直接使用Delta原生的update语法即可，不需要重新构造全量DataFrame写入，只会修改涉及的行，产生的新版本文件最少，性能最优。
示例代码：

from pyspark.sql.functions import lit
from delta.tables import DeltaTable

# 加载目标Delta表
delta_table = DeltaTable.forName(spark, "covid_cities")

# 直接更新柏林城市的感染数
delta_table.update(
  condition = "Name = 'Berlin'",
  set = { "CovidInfections": lit(230) }
)

内容的提问来源于stack exchange，提问作者Larsq