如何在Delta Live Table（DLT）流水线中选择性覆盖分区？

完全可以实现仅覆盖指定分区，无需全量重写整个大表，以下是几种适配不同场景的具体方法：

1. 用MERGE语句实现分区数据的更新/插入 #

如果需要对特定分区的现有数据做更新或补充插入，而非直接替换整个分区，推荐使用MERGE：

MERGE INTO your_target_table t
USING your_source_data s
ON t.date_col = s.date_col AND t.primary_key = s.primary_key  -- 替换为你的业务匹配键
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
WHERE s.date_col >= date_sub(current_date(), 3)  -- 限定仅处理最近3天的分区

该语句只会对符合过滤条件的分区执行数据变更，完全不影响其他分区的原有数据。

2. 带分区过滤的CREATE OR REPLACE TABLE直接覆盖指定分区 #

如果需要直接替换特定分区的全部数据，可以通过合并旧分区数据与新分区数据的方式，让DLT仅重写目标分区：

CREATE OR REPLACE TABLE your_target_table
PARTITIONED BY (date_col)
AS
SELECT * FROM your_source_data
WHERE date_col >= date_sub(current_date(), 3)  -- 取需要覆盖的分区数据源
UNION ALL
SELECT * FROM your_target_table
WHERE date_col < date_sub(current_date(), 3)  -- 保留未修改的旧分区数据

DLT会自动识别分区差异，仅重写date_col >= date_sub(current_date(), 3)的分区，不会全量扫描或重写整个表。

3. 基于DLT增量流处理自动限定分区 #

如果你的数据源是按日增量生成的，可以配置流式表实现自动处理指定分区：

CREATE STREAMING LIVE TABLE your_target_table
PARTITIONED BY (date_col)
AS
SELECT * FROM STREAM(live.your_source_table)
WHERE date_col >= date_sub(current_date(), 3)  -- 限定仅处理最近分区

流水线每次运行时只会读取并处理符合条件的分区增量数据，避免全量覆盖操作。

注意事项 #

• 确保目标表已通过PARTITIONED BY (date_col)配置分区，DLT依赖分区信息做写入优化；
• 若使用APPEND模式会在分区内追加数据，如需覆盖分区，优先选择上述MERGE或带过滤的CREATE OR REPLACE方案。

内容的提问来源于stack exchange，提问作者partlov