Pandas稀疏与稠密数组nonzero结果不一致问题排查

原本认为稀疏矩阵与稠密矩阵仅存储格式不同，存储的信息一致。但在使用以False为填充值的Pandas稀疏数组x时发现异常：

• x.nonzero()返回的索引，取值x[索引]结果为False；
• 将x转为稠密数组y后，y.nonzero()的结果与x的完全不同；
• 将y再转回稀疏数组z，其索引也与原x不一致。

复现代码 #

import pandas as pd

sa = pd.arrays.SparseArray([1,-1,2,1,-2,4], fill_value=-2, dtype=float)
as_int = pd.DataFrame(sa)[0].apply(int)
x = ((as_int > 0) & (as_int & 1) > 0).values

不同Pandas版本表现 #

• 1.1.5版本：x.nonzero()返回(array([0, 1, 2, 3, 5], dtype=int32),)
• 2.2.3版本：生成x时触发警告，x.nonzero()返回(array([0, 3], dtype=int32),)
• 3.0.2版本：生成x时直接报错ValueError

问题原因解析 #

1. 旧版本布尔稀疏数组的方法逻辑bug #

Pandas早期版本（如1.1.5）对布尔类型SparseArray的nonzero()方法实现存在错误：它直接返回稀疏数组中所有被存储元素的索引，而非仅返回值为True的索引。

你的代码生成的稀疏数组x填充值为False，按逻辑应该只存储值为True的元素（索引0和3），但旧版本的布尔运算处理存在缺陷，错误地将部分False值也存入了稀疏数组，导致nonzero()返回了所有存储元素的索引，而这些索引对应的元素实际是False，就出现了"取索引得到False"的矛盾现象。

2. 版本迭代中的行为修正 #

• 2.2.3版本：Pandas开始修复布尔稀疏数组的逻辑，对不符合新规范的操作触发警告，同时nonzero()已正确返回值为True的索引，这也是该版本结果与1.1.5差异巨大的原因；
• 3.0.2版本：彻底废弃了旧的错误逻辑，对可能导致歧义的稀疏数组布尔运算直接抛出ValueError，强制开发者遵循新的稀疏数组行为规范。

3. 稀疏数组与稠密数组的核心差异 #

你之前的认知存在偏差：稀疏数组并非只是存储格式不同，其方法的行为逻辑会因存储优化的需求而与稠密数组不同。对于布尔稀疏数组，nonzero()的正确行为是返回值为True的索引，而非所有存储元素的索引——旧版本的bug混淆了这两个概念，才引发了你遇到的一系列异常。

内容的提问来源于stack exchange，提问作者davidvandebunte