如何使用Python复现Spark的哈希函数？

Spark采用Murmur3算法计算哈希值，但使用Python的mmh3包生成的结果和Spark不一致。我查阅了多个相关问题，仍未找到明确的实现方法：

• pyspark.sql.functions.hash使用的是什么哈希算法？
• Spark中的哈希函数
• Scala MurmurHash3库与Spark哈希函数不匹配

Spark的hash函数基于Scala的MurmurHash3实现，但和标准Murmur3有三个核心差异，必须对齐才能得到一致结果：

1. 种子值：Spark默认用42作为哈希种子，而mmh3默认是0，需要显式指定。
2. 数据序列化规则：Spark对不同类型的序列化逻辑固定，比如字符串按UTF-8编码，整数按4字节大端序处理。
3. 多字段组合方式：多字段哈希时，Spark会逐个哈希字段再做异或组合，而非拼接后哈希。

字符串类型适配代码 #

import mmh3

def spark_str_hash(s):
    # 对齐Spark字符串处理逻辑：UTF-8编码 + 种子42
    return mmh3.hash(s.encode('utf-8'), seed=42)

多字段哈希适配示例 #

import mmh3

def spark_multi_hash(*fields):
    result_hash = 0
    for field in fields:
        if isinstance(field, str):
            h = mmh3.hash(field.encode('utf-8'), seed=42)
        elif isinstance(field, int):
            # Spark对整数的序列化：4字节大端序
            h = mmh3.hash(field.to_bytes(4, byteorder='big'), seed=42)
        # 布尔、浮点数等类型需参考Spark源码扩展序列化逻辑
        result_hash ^= h
    return result_hash

如果需要处理数组、结构体等复杂类型，必须完全复刻Spark的MurmurHash3源码中的序列化逻辑，才能保证哈希一致。

内容的提问来源于stack exchange，提问作者Viperl