为何Golang的MD5哈希分布看似不均匀？技术咨询

哈哈，这个问题其实挺容易踩坑的，我来帮你拆解下～

首先明确：你的代码本身没有漏洞，看起来“不均匀”的现象其实是随机分布的正常表现，核心是你对“均匀分布”的预期有点偏差啦。

先理清楚你的分片逻辑 #

你把MD5哈希的前4字节转成uint32值，然后用result/uint32(n)（n=50000）来分片。我们算下每个分片对应的数值范围：

• uint32的取值范围是0到2^32-1（约42.9亿）
• 分成50000个分片的话，每个分片的区间长度大概是2^32 / 50000 ≈ 85899.35

也就是说，每个分片对应着连续的85899或85900个uint32值，而你一共生成了50000个随机哈希值。

为啥会出现大量重复分片？这是概率论的正常结果 #

这其实是随机放置的必然现象：当你把N个随机值放到N个桶里时，根据泊松分布和生日悖论的原理：

• 大约有N/e个桶是空的（e≈2.718，50000/e≈18394）
• 大约36.8%的桶有1个元素，18.4%的桶有2个元素，剩下的桶会有更多元素

所以你统计到的dupeShards（有重复的分片数）会接近50000-18394≈31606，这完全是随机分布的正常表现，和MD5的均匀性无关。

你的代码有没有需要注意的点？ #

• newUUID()：如果是版本4的随机UUID，那没问题；如果是基于时间或MAC地址的UUID，可能会有微弱的规律性，但MD5的哈希运算会把这种规律性抹平，不影响最终分布。
• binary.BigEndian.Uint32(hash[:4])：用大端还是小端转换不影响分布均匀性，只是改变了数值的映射方式，对结果没有本质影响。

怎么正确验证MD5的分布均匀性？ #

不要用N个桶去放N个样本，而是：

• 减少桶的数量，比如分成100个桶，每个桶的预期计数是500（50000/100），统计每个桶的计数，看方差是否很小
• 做卡方检验，验证实际计数和预期计数的偏差是否在随机范围内

这样就能直观看到MD5的分布是不是均匀的啦。

内容的提问来源于stack exchange，提问作者Aseem Kishore