调用.values时pyarrow布尔类型Pandas DataFrame的异常行为问询

核心结论 #

这是Pandas当前版本（包括2.1.4）的预期行为，不是bug，根源在于PyArrow与Numpy的类型体系差异，以及Pandas的API设计逻辑。

原因拆解 #

• 用dtype='bool[pyarrow]'或dtype='float[pyarrow]'创建的DataFrame，底层存储的是PyArrow数组，而非Numpy数组。
• .values方法的设计初衷是返回Numpy数组，但PyArrow的标量类型无法直接映射为原生Numpy的bool/float类型时，Pandas会返回一个元素为PyArrow scalar的object数组（即dtype('O')）——每个元素都是独立的PyArrow对象，不是原生的Numpy数值类型。
• 而用普通dtype='bool'/dtype='float'创建的DataFrame，底层本身就是Numpy数组，.values直接返回原数组，自然保留对应的原生dtype。

更高效的替代操作 #

如果需要获取类型一致的高效数组，别用.values，推荐这两种方式：

• 用.to_numpy()：可以指定dtype强制转换为原生Numpy类型，比如df1.to_numpy(dtype=bool)会直接返回dtype('bool')的Numpy数组；不指定的话，它也会尝试匹配最接近的Numpy类型，比.values更可控。
• 直接取PyArrow原生数组：用df1[0].array能拿到原始的PyArrow Array对象，这是最贴合PyArrow存储的高效方式，适合后续基于PyArrow的操作。

关于未来是否会修改 #

目前Pandas在推进和PyArrow的深度集成，但.values作为历史API，大概率会保持现有行为（毕竟大量旧代码依赖它返回Numpy数组的特性）。未来更可能优化的是.to_numpy()对PyArrow类型的转换逻辑，或者推广使用PyArrow原生数组的相关API，不会轻易改动.values的行为。

内容的提问来源于stack exchange，提问作者Hans