Python单独反序列化的set集合操作性能大幅下降原因咨询

这个现象本质是Python的元组哈希缓存机制和pickle的跨对象引用保留规则共同导致的：

1. 元组的哈希缓存特性 #

作为不可变容器，元组的哈希值不会在创建时就计算，而是第一次调用__hash__()方法时才会执行哈希计算，计算结果会直接缓存在元组对象的内存结构中，后续所有需要取哈希的场景都直接复用缓存值，不需要重复计算。
你测试使用的元组长度为100，单次哈希计算需要遍历100个元素，耗时远高于普通短元组，缓存的影响被大幅放大。

2. 不同场景的哈希缓存状态差异 #

• 原始对象data & subset场景：你构建data和subset两个集合时，插入元组的过程就已经触发了所有元组的哈希计算，所有哈希值都已缓存。集合交集操作只需要对比缓存的哈希值，速度极快。
• 合并序列化反序列化data3 & subset3场景：你将两个集合放在同一个列表中序列化，pickle会保留同一个序列化上下文中的对象引用关系——两个集合中共享的元组本质是同一个内存对象，已经缓存的哈希值也会被序列化保留，反序列化后不需要重新计算，因此性能和原始对象几乎一致。
• 单独序列化反序列化data2 & subset2场景：两个集合分别序列化时，pickle无法感知两个集合中的元组是同一个对象，反序列化后data2和subset2中的相同元组变成了完全独立的两个对象，原有哈希缓存全部丢失。集合交集操作时，每一次元组对比都需要重新计算哈希值，累计耗时就会出现几十倍的暴涨。

验证方法 #

你可以在单独反序列化后先主动触发一次所有元组的哈希计算，再测速就能看到性能恢复到正常水平：

# 提前触发所有元组的哈希计算并缓存
for item in data2:
    hash(item)
for item in subset2:
    hash(item)
# 此时再测速和另外两组结果基本一致
print(timeit.timeit(lambda: data2 & subset2, number=1000))

内容的提问来源于stack exchange，提问作者김민준