Spark SQL中hash函数针对不同字符串生成相同哈希值问题

1. 不同输入返回相同哈希值的原因 #

• Spark SQL内置的hash函数采用的是Murmur3非加密哈希算法，默认返回32位有符号整数，总取值空间仅约42亿，根据鸽巢原理，输入数量超过该阈值时必然出现碰撞，即使输入量未达阈值，也存在小概率出现碰撞。
• 该哈希算法的设计目标是计算速度快、散列分布均匀，优先满足分桶、哈希表检索等场景需求，本身不具备抗碰撞特性，因此会出现多个不同邮箱计算出相同哈希值的情况。

2. 为邮箱生成唯一哈希值的实现方案 #

可以根据业务需求选择以下方案：

• 优先使用抗碰撞加密哈希函数：选择sha2函数生成256位或512位的字符串型哈希值，碰撞概率极低，实际业务场景下可认为唯一。使用示例：

-- 生成256位SHA2哈希
select sha2('pipohecho@hotmail.com', 256) as email_unique_hash;
-- 需更高安全性可替换第二个参数为512，生成512位哈希

• 若需要数值类型的哈希结果：使用Spark 3.0及以上版本提供的hash64函数，返回64位有符号整数，取值空间是32位哈希的42亿倍，碰撞概率大幅降低，可满足绝大多数场景的唯一性需求。使用示例：

select hash64('pipohecho@hotmail.com') as email_unique_hash;

• 若业务要求100%绝对无碰撞：可额外维护邮箱与哈希值的映射字典表，每次生成新哈希前做唯一性校验，或直接对邮箱做Base64编码，完全避免碰撞问题。

内容的提问来源于stack exchange，提问作者Eric Bellet