JS转Python的cyrb53哈希函数处理长字符串时卡顿

问题背景 #

我此前使用Stack Overflow上的JS版cyrb53哈希函数生成base64编码图片字符串的哈希值，项目迁移至Python后，为保证数千条历史哈希记录的一致性，必须沿用该算法。短字符串测试时Python版与JS版输出结果一致（如示例字符串返回85900107939316），但处理百万字符级的真实图片字符串时，JS可毫秒级完成，Python却卡顿数分钟未结束。

JS原实现代码 #

const cyrb53 = (str, seed = 0) => {
    let h1 = 0xdeadbeef ^ seed, h2 = 0x41c6ce57 ^ seed;
    for(let i = 0, ch; i < str.length; i++) {
        ch = str.charCodeAt(i);
        h1 = Math.imul(h1 ^ ch, 2654435761);
        h2 = Math.imul(h2 ^ ch, 1597334677);
    }
    h1  = Math.imul(h1 ^ (h1 >>> 16), 2246822507);
    h1 ^= Math.imul(h2 ^ (h2 >>> 13), 3266489909);
    h2  = Math.imul(h2 ^ (h2 >>> 16), 2246822507);
    h2 ^= Math.imul(h1 ^ (h1 >>> 13), 3266489909);
  
    return 4294967296 * (2097151 & h2) + (h1 >>> 0);
};

初始Python实现代码 #

def unsigned_right_shift(n, shift):
    # Create a mask to simulate a 32-bit unsigned integer
    mask = 0xFFFFFFFF
    # Apply the mask to ensure the number is treated as unsigned
    n &= mask
    # Perform the right shift
    result = n >> shift
    return result


def cyrb53x(str, seed=0):
    h1 = 0xdeadbeef ^ seed
    h2 = 0x41c6ce57 ^ seed

    for ch in str:
        h1 = (h1 ^ ord(ch)) * 2654435761
        h2 = (h2 ^ ord(ch)) * 1597334677

    h1  = (h1 ^ unsigned_right_shift(h1 , 16)) * 2246822507
    h1 ^= (h2 ^ unsigned_right_shift(h2 , 13)) * 3266489909
    h2  = (h2 ^ unsigned_right_shift(h2 , 16)) * 2246822507
    h2 ^= (h1 ^ unsigned_right_shift(h1 , 13)) * 3266489909

    return 4294967296 * (2097151 & h2) + (h1 & 0xFFFFFFFF)

性能瓶颈分析 #

不是单纯的Python性能限制，而是初始实现的几个关键问题导致：

• 大整数无限制增长：Python的int是任意精度类型，每次乘法都会生成更大的整数，而JS的Math.imul是32位整数乘法，自动截断溢出。初始代码未及时做32位截断，后续计算需要处理超大整数，性能急剧下降。
• 逐字符循环的纯Python开销：Python的for循环本身比JS慢，加上每次循环调用ord()和自定义的unsigned_right_shift函数，额外开销累积后被放大。
• 函数调用的额外损耗：自定义的无符号右移函数每次调用都要执行掩码操作，增加了循环内的执行成本。

优化方案及代码 #

核心优化点 #

1. 模拟JS的32位整数乘法：每次乘法后用& 0xFFFFFFFF截断，保持数值在32位范围内，避免大整数运算。
2. 简化无符号右移操作：内联掩码和右移逻辑，减少函数调用开销。
3. 减少ord()调用：将字符串转为bytes直接遍历字节值（base64为ASCII字符，字节值等于ord(ch)）。
4. 可选：用JIT编译加速：使用Numba将函数编译为机器码，接近JS的执行速度。

优化后的纯Python代码 #

def cyrb53_optimized(s, seed=0):
    h1 = 0xdeadbeef ^ seed
    h2 = 0x41c6ce57 ^ seed
    # 转成bytes遍历，直接获取ASCII数值，省去ord()调用
    for ch in s.encode('ascii'):
        h1 = (h1 ^ ch) * 2654435761 & 0xFFFFFFFF
        h2 = (h2 ^ ch) * 1597334677 & 0xFFFFFFFF
    
    # 内联无符号右移逻辑，减少函数调用
    h1 = (h1 ^ ((h1 & 0xFFFFFFFF) >> 16)) * 2246822507 & 0xFFFFFFFF
    h1 ^= (h2 ^ ((h2 & 0xFFFFFFFF) >> 13)) * 3266489909 & 0xFFFFFFFF
    h2 = (h2 ^ ((h2 & 0xFFFFFFFF) >> 16)) * 2246822507 & 0xFFFFFFFF
    h2 ^= (h1 ^ ((h1 & 0xFFFFFFFF) >> 13)) * 3266489909 & 0xFFFFFFFF
    
    return 4294967296 * (2097151 & h2) + (h1 & 0xFFFFFFFF)

Numba JIT加速版（极致性能） #

from numba import jit

@jit(nopython=True)
def cyrb53_numba(s, seed=0):
    h1 = 0xdeadbeef ^ seed
    h2 = 0x41c6ce57 ^ seed
    for ch in s:
        ch = ord(ch)
        h1 = (h1 ^ ch) * 2654435761 & 0xFFFFFFFF
        h2 = (h2 ^ ch) * 1597334677 & 0xFFFFFFFF
    
    h1 = (h1 ^ ((h1 & 0xFFFFFFFF) >> 16)) * 2246822507 & 0xFFFFFFFF
    h1 ^= (h2 ^ ((h2 & 0xFFFFFFFF) >> 13)) * 3266489909 & 0xFFFFFFFF
    h2 = (h2 ^ ((h2 & 0xFFFFFFFF) >> 16)) * 2246822507 & 0xFFFFFFFF
    h2 ^= (h1 ^ ((h1 & 0xFFFFFFFF) >> 13)) * 3266489909 & 0xFFFFFFFF
    
    return 4294967296 * (2097151 & h2) + (h1 & 0xFFFFFFFF)

效果说明 #

• 纯Python优化版处理百万字符的base64字符串，耗时可从数分钟缩短至数秒。
• Numba加速版的性能接近JS，可达到毫秒级处理速度，和原JS实现的效率基本一致。

内容的提问来源于stack exchange，提问作者Phaelax