为何`myfloat in myset`集合成员判断操作会异常变慢?
问题原因分析
这个现象的核心根源是NaN(非数值)的特殊浮点规则与Python集合的实现逻辑共同作用的结果,和集合本身的常数时间复杂度设计不冲突:
1. Python集合的底层实现逻辑
Python的集合基于哈希表实现,正常情况下x in s的执行分为两步:
- 计算
x的哈希值,定位到哈希表中对应的哈希桶(时间复杂度O(1)) - 遍历该哈希桶内的所有元素,逐一和
x做相等比较,找到匹配项就返回True,遍历完无匹配则返回False
正常场景下每个哈希桶的元素数量极少,所以整体操作是O(1)复杂度。
2. NaN的特殊规则破坏了上述逻辑
NaN有两个违反普通数值规则的特性:
- 所有NaN的哈希值都相同:
hash(float('nan'))的结果是固定值,因此所有NaN都会被定位到同一个哈希桶中 - NaN不与任何值相等,包括自身:
float('nan') == float('nan')的返回值为False
3. 变慢的根因
你每次往集合中添加新的NaN时,因为和桶内已有的所有NaN做相等比较都返回False,集合会把每个新NaN都判定为未存在的新元素,全部存入同一个哈希桶中。
当桶内有N个NaN时,执行x in s检查时,x是NaN会定位到同一个桶,必须遍历完桶内全部N个NaN,全部比较不相等后才会返回结果,时间复杂度退化为O(N),因此插入的NaN越多,检查耗时就越长,和你测试的耗时线性增长的结果完全吻合。
简单验证方法
你可以在代码中每次执行add操作后打印len(s),会发现集合长度持续增长,正常的重复浮点值(比如0.0)不会出现这个情况。
内容的提问来源于stack exchange,提问作者no comment
相关产品推荐
相关产品推荐

