咨询dynamic partitionOverwriteMode选择性覆盖能力及logical partition含义

核心结论 #

• 不支持非Hive风格分区的Parquet文件：dynamic partitionOverwriteMode是Delta Lake专为Hive风格分区表设计的特性，仅识别按分区列=值目录结构组织的分区，对自定义目录结构的非Hive风格Parquet文件完全不生效。
• 同一Hive分区内无法选择性覆盖部分文件：该特性的操作粒度是整个逻辑分区，只要你往某个分区写入新数据，就会覆盖该分区下所有现有数据，不会基于Parquet行组过滤去识别并只覆盖部分文件。

对"logical partition"的解释 #

文档中提到的"logical partition"就是Hive风格分区：

在动态分区覆盖模式下，操作会覆盖每个写入提交新数据的logical partition中的所有现有数据。写入未包含数据的现有logical partition则保持不变。

对应到存储层面，就是表定义里的分区列对应的key=value子目录（比如dt=2024-05-20）。你的写入语句涉及到哪些分区值，这些分区对应的目录下的所有数据就会被全量替换；未被写入涉及的分区则不受影响。

补充说明 #

如果需要更细粒度的覆盖（比如同一分区内只覆盖符合过滤条件的数据），可以使用Delta Lake的MERGE INTO语句，或者结合INSERT OVERWRITE搭配分区内的过滤条件，但这不属于dynamic partitionOverwriteMode的能力范围。

内容的提问来源于stack exchange，提问作者Matthew Thomas