Python hash()函数相同输入返回不同值问题排查

问题诱因 #

Python 3.3及以上版本默认开启哈希随机化特性：每次Python解释器启动时会生成一个随机的PYTHONHASHSEED值，内置hash()函数的计算结果依赖该种子，该设计的初衷是防范哈希碰撞拒绝服务攻击。

你当前的Apache Beam作业运行在GCP Dataflow多节点集群上，不同Worker节点的Python进程是独立启动的，默认会生成不同的哈希种子，因此相同输入在不同Worker上调用hash()得到的结果自然不一致；如果两次计算刚好落在同一个Worker进程内，结果就会一致，这就是你观察到间歇性异常的核心原因。

解决方案 #

可根据业务场景选择以下任意方案：

• 固定全局哈希种子：在Dataflow容器的启动参数中添加环境变量PYTHONHASHSEED=0，强制所有Python进程使用相同的哈希种子，内置hash()的输出就会全局一致。该方案仅适用于无需防范哈希碰撞攻击的内部业务场景。
• 替换为非随机化的哈希算法：如果需要更稳定、跨环境一致的哈希结果，不要使用Python内置的hash()函数，改用hashlib模块提供的加密哈希算法（如MD5、SHA1等），或者xxhash、murmurhash等非加密哈希算法，这类算法的输出仅和输入有关，不受运行环境影响。参考实现如下：

import hashlib
import pickle

# element is an instance of a typing.NamedTuple
def compute_hash(self, element):
    values = self.get_key_values_tuple(element)
    # 将元组序列化为字节流后计算哈希
    bytes_val = pickle.dumps(values)
    _hash = int(hashlib.sha1(bytes_val).hexdigest(), 16)
    logging.info(f'Hash of {values} is {_hash}')
    return _hash

# self.keys in this instance is ['session_id', 'time', 'wearable_id']
def get_key_values_tuple(self, element: tuple) -> tuple:
    return tuple(map(lambda key: getattr(element, key), self.keys))

• 如果对性能要求较高，也可以直接将元组的各个字段拼接为标准化字符串后再计算哈希，规避序列化开销。

内容的提问来源于stack exchange，提问作者Simon Corcos