如何实现源数据向Data Fabric Lakehouse的覆盖写入与增量更新

问题背景 #

数据来自数据源X，每日都会更新。当前同步至Data Fabric的Lakehouse采用追加模式，导致源端Value列更新后，旧数据会被重复同步至Lakehouse，产生冗余。需要实现：旧数据被对应新数据覆盖，同时同步源端新增的数据。

数据示例 #

• 初始数据：
• 源端更新后当前同步效果：
• 期望的覆盖更新效果：

解决方法 #

要实现这种“更新旧数据+插入新数据”的同步模式，直接用Merge（合并）操作即可，核心靠数据中的唯一标识（比如示例里的ID列）匹配新旧数据，具体步骤如下：

1. 确定唯一键：明确数据中的唯一标识字段（如ID），用来区分需要更新的旧数据和新增数据。
2. 编写Merge逻辑：替换原有的追加同步逻辑，使用Merge语句。以Data Fabric Lakehouse常用的Delta Lake格式为例，示例代码如下：

MERGE INTO lakehouse目标表名 AS target
USING (SELECT * FROM 数据源X每日更新数据) AS source
ON target.ID = source.ID
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

• 匹配到的现有数据（Lakehouse中已存在的旧数据）会被源端新数据覆盖更新
• 未匹配到的数据（源端新增数据）会直接插入到Lakehouse中

3. 调整同步任务配置：在Data Fabric的任务设置中，将原“追加模式”切换为自定义Merge逻辑，确保每日同步自动执行该合并操作。
4. 可选性能优化：如果数据量较大，可做以下优化：

• 仅同步数据源X的增量更新数据（而非全量），减少Merge操作的数据处理量
• 给唯一键字段建立索引，提升数据匹配效率

内容的提问来源于stack exchange，提问作者Bangalore Data