Upsolver SQLake中MD5生成HashKey致输出数据丢失，请求问题排查

一、HashKey生成逻辑排查 #

• 检查拼接字段的空值处理：advertiser_id、marketplace_id、retailer任一字段为NULL时，拼接结果会出现异常，可能导致不同业务记录生成相同HashKey被错误覆盖。建议测试原逻辑和空值处理后的差异，比如改用MD5(COALESCE(advertiser_id, '') || COALESCE(marketplace_id, '') || COALESCE(retailer, ''))生成HashKey，对比是否有重复值减少。
• 校验字段类型一致性：如果三个字段类型不统一（如数字与字符串混合），隐式转换会导致同含义值拼接结果不同，生成不同HashKey。需确保拼接前统一转成字符串，例如CAST(advertiser_id AS VARCHAR) || CAST(marketplace_id AS VARCHAR) || retailer。

二、Upsert执行逻辑排查 #

• 检查HashKey唯一性：执行SELECT hashkey, COUNT(*) FROM 目标表 GROUP BY hashkey HAVING COUNT(*) > 1，统计重复HashKey的数量。若存在重复，说明当前HashKey无法唯一标识业务记录，需增加拼接字段（比如订单ID、时间戳）来提升唯一性。
• 验证数据源读取完整性：排查数据源是否有分区遗漏、增量读取水位线配置错误，或数据源本身存在数据延迟，导致部分记录未被SQLake捕获。查看任务的数据源读取日志，确认是否有未读取的分区或数据范围。
• 确认Upsert触发时机：若数据源短时间内多次更新同一条记录，需检查SQLake任务的执行频率是否匹配。任务重试或执行间隔过长可能导致中间版本记录被跳过，最终只保留最后一次更新。

三、具体记录验证 #

• 选取丢失的具体业务记录，手动计算其HashKey，在目标表中查询该HashKey对应的记录：若存在，说明该记录被其他同HashKey的记录覆盖；若不存在，查看SQLake任务的错误日志、跳过记录日志，确认这条记录是否进入处理流程。
• 做小范围模拟测试：构造一条与丢失记录完全一致的数据插入数据源，观察SQLake是否能正确同步并完成Upsert，对比手动计算的HashKey与目标表中存储的HashKey是否一致。

内容的提问来源于stack exchange，提问作者Ajay C