DeltaTable Merge操作出现重复行而非更新的原因排查

背景信息 #

Delta表说明 #

• ake_original
• ake_updates

表结构 #

每个Delta表包含两列：

• AKE_ID：主键，类型为pa.String()
• MODIFIED_DATE：类型为pa.timestamp('us')

数据详情 #

• ake_original包含59,767行，所有数据均为2024年6月7日00:00:00至23:59:59插入。
• ake_updates包含6,262行，代表2024年6月7日插入、并在2024年6月8日00:00:00至23:59:59更新的部分数据。

问题现象 #

使用以下Python代码，通过唯一列AKE_ID将更新行合并到原始表后，出现数据重复：插入/重复了4,276行，仅更新了1,986行。请问出现数据重复的原因是什么？

from deltalake import DeltaTable, write_deltalake
import pyarrow.dataset as ds

deltaTable = DeltaTable('ake_original')
dataset_update = ds.dataset('ake_updates')
df = dataset_update.to_table()

(
    deltaTable.merge(
        source=df,
        predicate="s.AKE_ID = t.AKE_ID", 
        source_alias="s",
        target_alias="t",
    )
    .when_matched_update_all()
    .when_not_matched_insert_all()
    .execute()
)

print(deltaTable.history())

原因分析 #

核心问题在于Merge操作的匹配条件s.AKE_ID = t.AKE_ID未命中预期的行，导致大量更新行触发了when_not_matched_insert_all逻辑，插入了重复数据。具体可能的原因如下：

1. AKE_ID存在隐形字符或格式差异
   由于AKE_ID是字符串类型，极易出现肉眼不可见的差异：

   • 大小写不一致（如AKE001和ake001）
   • 前后存在空格/全角空格
   • 包含换行符、制表符等隐形控制字符
     这些差异会导致字符串字面量看起来相同，但实际匹配时不相等，最终触发插入逻辑。

2. 字符串编码或存储格式不兼容
   若两个表的AKE_ID字符串编码不一致（如UTF-8与GBK），或存在隐性的类型转换（如原始表是定长字符串，更新表是变长字符串），也会导致匹配条件失效。

3. 更新表存在原始表未包含的AKE_ID
   虽然业务说明更新表是原始表数据的更新，但如果实际数据中部分AKE_ID在ake_original中不存在，这部分行就会被插入。不过结合业务场景，这种可能性低于字符匹配问题。

验证方法 #

可以通过以下代码排查具体原因：

# 提取两个表的AKE_ID集合
original_ids = set(deltaTable.to_table().column('AKE_ID').to_pylist())
update_ids = set(df.column('AKE_ID').to_pylist())

# 统计更新表中不在原始表的AKE_ID数量
missing_ids = update_ids - original_ids
print(f"更新表中未在原始表找到的AKE_ID数量：{len(missing_ids)}")

# 检查大小写/空格处理后的差异
original_ids_clean = {id.strip().lower() for id in original_ids}
update_ids_clean = {id.strip().lower() for id in update_ids}
missing_ids_clean = update_ids_clean - original_ids_clean
print(f"清洗后未匹配的AKE_ID数量：{len(missing_ids_clean)}")

如果清洗后的未匹配数量大幅减少，即可确认是字符格式差异导致的问题。

内容的提问来源于stack exchange，提问作者Ahmed Kamal ELSaman