缓存场景：MD5对比SHA1[:10]是否更优？有无更快更短哈希？

问题1：非安全场景对象缓存中，MD5是否比SHA1[:10]更优？有没有遗漏考量点？ #

在非安全的对象缓存场景下，MD5确实有不少优势，但也要结合缓存规模来权衡：

• 性能层面：MD5的计算速度确实比SHA1快，因为它的运算逻辑更简单（处理的位长更短），生成哈希的耗时更低。
• 碰撞风险层面：SHA1[:10]只取了原哈希的前10位十六进制字符，对应40位熵；而MD5是完整的128位熵。如果缓存对象数量较多（比如超过百万级），SHA1[:10]的意外碰撞概率会显著高于MD5——当对象数量达到2^{20左右时，SHA1[:10]就有很大概率出现碰撞，而MD5要到2}64级别的对象才会有明显碰撞风险。如果缓存规模很小，碰撞概率可以忽略，那SHA1[:10]的短哈希反而更节省内存或存储资源。
• 兼容性与适用场景：两者在主流编程语言里都有成熟的库支持，不存在兼容性问题。另外要明确，MD5虽然在安全场景已被破解，但在缓存这种非安全场景下完全够用，我们只需要避免意外碰撞即可，无需担心恶意攻击。

问题2：是否存在更快且能生成短哈希值的哈希算法？ #

有不少专门为性能优化设计的非加密哈希函数，比MD5、SHA1快得多，同时能生成短哈希：

• MurmurHash：一款高速非加密哈希，有32位、64位版本，生成的哈希转成十六进制后长度分别是8位、16位，性能远超MD5。Python中可以通过mmh3库调用。
• xxHash：目前性能顶尖的哈希算法之一，处理大数据时优势尤其明显，支持32、64、128位哈希输出，对应的十六进制长度为8、16、32位。Python中可通过xxhash库使用。
• FarmHash：Google推出的高性能哈希，和xxHash性能接近，同样适合快速生成短哈希。
• Python内置hash()函数：如果只是进程内临时缓存，不需要持久化或跨进程使用，内置hash()是最快的，但它的哈希值会随进程重启、Python版本变化而改变，不能用于持久化缓存场景。

内容的提问来源于stack exchange，提问作者Yehuda