ETL慢变化维度SCD2场景：选MD5还是SHA256避免哈希重复？

结论：优先选SHA256，它在哈希碰撞风险上远低于MD5；如果是普通业务场景，MD5也能满足需求，但SHA256更稳妥。

1. 碰撞风险对比 #

• MD5生成128位哈希值，虽然后天自然碰撞的概率极低，但MD5的哈希算法已被证实存在可构造碰撞的漏洞。在ETL的SCD2场景中，虽然业务数据自然碰撞几乎不可能，但从长期可靠性和安全性角度，SHA256（256位）的碰撞风险可以认为是可忽略的，更适合需要长期准确识别数据变化的场景。
• 如果你处理的是高基数、数据频繁更新的维度表，SHA256能进一步降低理论上的碰撞可能性，避免因哈希重复导致的SCD2逻辑错误（比如漏生成新行或误判数据变化）。

2. 存储与性能考量 #

• 存储上：MD5的哈希值是32个十六进制字符，SHA256是64个。你的EMP表中hash_val字段定义为varchar(250)，完全能容纳两种哈希值，存储成本上没有差异。
• 性能上：MD5的计算速度略快于SHA256，但在绝大多数ETL流程中，这点性能差异可以忽略不计。只有当你处理亿级以上的超大规模数据集时，MD5的微小性能优势才可能体现，但此时优先考虑可靠性更重要。

3. 业务场景适配建议 #

• 对数据准确性要求极高的场景（如金融、医疗）：必须选SHA256，彻底规避极端情况下的碰撞风险，确保SCD2的变更判断100%准确。
• 普通业务场景：MD5足够用，实际业务中几乎不会遇到自然产生的MD5碰撞，能满足SCD2的基本需求。

额外实践提示 #

• 计算哈希时，要覆盖所有需要监控变化的业务字段（比如EMP表中除hash_val、row_active之外的所有字段），不能遗漏任何可能发生变更的字段。
• 统一空值处理逻辑：不同数据库对NULL和空字符串的哈希计算结果可能不同，建议将NULL转为固定标识（比如'NULL'）后再参与哈希计算，避免因空值处理不一致导致的哈希值差异。

内容的提问来源于stack exchange，提问作者Himanshu Kandpal