Python内置hash()函数哈希值分布不均？技术问询

问题原因 #

Python内置的hash()函数并非为均匀分布哈希值设计，它的核心目标是优化字典、集合等内置结构的查找效率，而非提供加密级别的均匀性。具体到你遇到的现象，核心原因有两点：

• 哈希实现的偏向性：CPython中字符串的哈希计算基于滚动哈希算法，返回的是64位有符号整数。对于自然语言文本这类字符码点分布相对集中的输入，哈希值的绝对值的十进制前三位大概率集中在000-921区间，更高区间（922-999）的出现频率天然极低，直接导致对应文件的内容量骤降。
• 设计目标差异：hash()的优化逻辑仅针对避免字典哈希冲突，不会保证全局范围内的数字位分布均匀，因此用十进制前三位做分片必然出现分布失衡。

验证方式 #

你可以通过以下代码快速验证这个特性：

import random
import string
from collections import defaultdict

counter = defaultdict(int)
# 生成10万条随机字符串统计哈希前缀
for _ in range(100000):
    s = ''.join(random.choices(string.printable, k=10))
    h = hash(s)
    # 处理负数，取绝对值的前三位
    prefix = str(abs(h))[:3].ljust(3, '0')[:3]
    counter[prefix] += 1

# 统计922及以上前缀的占比
high_prefix_ratio = sum(v for k, v in counter.items() if int(k) >= 922) / 100000 * 100
print(f"922及以上前缀占比: {high_prefix_ratio:.2f}%")

运行后会发现，该占比远低于理论均匀值7.8%（922-999共78个前缀），和你观察到的文件大小骤降现象完全吻合。

解决方案 #

如果需要实现均匀分片，建议改用以下两种方式：

• 使用加密哈希库：用hashlib模块生成加密哈希，这类函数专门为均匀分布设计。例如：

  import hashlib
  
  def get_shard_index(s):
      # 生成SHA256哈希，取前6位十六进制转十进制后模900，得到0-899的分片索引
      sha_hex = hashlib.sha256(s.encode()).hexdigest()
      return int(sha_hex[:6], 16) % 900
  

• 调整hash()的使用逻辑：跳过十进制前三位的取法，直接将哈希值取绝对值后模900，得到均匀的分片索引：

  def get_shard_index(s):
      return abs(hash(s)) % 900
  

  这种方式能规避hash()十进制位的偏向性，让分片分布更接近预期。

内容的提问来源于stack exchange，提问作者joinijo