关于NumPy/Pandas中NaN特性及数据类型访问差异的技术咨询

嘿，这个问题问到点子上了，咱们一步步拆解背后的原因：

首先要澄清：set(df.a)里并没有两个不同的NaN，这只是打印输出带来的视觉错觉，背后的核心原因和numpy.nan的特性有关：

• pandas中的NaN本质是numpy.nan，它有个特殊性质：自身不等于自身（numpy.nan != numpy.nan返回True）。
• 但Python的集合（set）判断元素是否重复时，会先检查哈希值是否相同。numpy.nan的哈希值是固定的（无论多少个numpy.nan，hash(numpy.nan)返回同一个值），所以多个numpy.nan被加入集合时，会被视为同一个元素，集合内部只会保留一个。
• 你看到的{nan, nan, 2.0}只是集合打印时的显示问题（可能是旧版本pandas/numpy的输出bug），实际集合的长度是2（你可以用len(set(df.a))验证），包含2.0和唯一的NaN。

而set(df.b)显示{nan, 'bb'}是正常的：字符串'bb'和NaN的哈希值完全不同，所以集合里是两个独立元素，显示准确。

这个差异和pandas处理不同类型Series的迭代、索引访问逻辑有关：

1. 数值型列（比如df.a）的情况 #

df.a被pandas推断为float64类型列（因为包含数字2.0）：

• 当你直接迭代Series（for _ in df.a）时，pandas会自动把numpy.float64类型的元素解包为Python原生的float类型——这是pandas为了让用户更方便使用原生Python类型做的优化。
• 当你通过索引访问（df.a[i]）时，pandas会返回底层原始的numpy.float64对象，因为索引访问更偏向于直接获取底层数据，保留numpy数值类型可以支持向量化运算等高效操作。

2. 混合类型列（比如df.b）的情况 #

df.b被推断为object类型列（同时包含字符串和NaN）：

• 迭代object类型的Series时，pandas不会自动解包元素，会直接返回原始对象的类型：'bb'是Python原生str，NaN是numpy.nan（其本身类型就是float）。
• 索引访问时返回的也是同样的原始对象，所以两种访问方式得到的类型结果完全一致。

你可以通过df.a.dtype和df.b.dtype查看列的底层数据类型，这能帮你更好理解上述差异的根源。

内容的提问来源于stack exchange，提问作者wsdzbm