numpy_nullable与NaN处理异常：为何与numpy、pyarrow表现不一致？

先看复现代码：

import pandas as pd

# 原生numpy后端
sr = pd.Series([1.5, 0.0])
print((sr / sr).max())  # 输出: 1.0

# numpy_nullable后端（pandas原生Nullable类型）
sr = pd.Series([1.5, 0.0]).convert_dtypes()
print((sr / sr).max())  # 输出: <NA>

# pyarrow后端
sr = pd.Series([1.5, 0.0]).convert_dtypes(dtype_backend='pyarrow')
print((sr / sr).max())  # 输出: 1.0

原因解释 #

三种后端的差异核心在于除以零的结果类型和聚合函数对空值的处理规则：

• 原生numpy后端：0.0/0.0生成numpy.nan，pandas对numpy dtype序列的max()默认skipna=True，会自动忽略nan，最终返回有效极值1.0。
• numpy_nullable后端：convert_dtypes()默认生成pandas原生Float64类型，0.0/0.0会产生pd.NA（pandas专属空值标记）。早期pandas版本中，Nullable类型的聚合函数默认skipna=False，只要序列存在pd.NA就直接返回空值；即使新版本中，部分场景下的空值传播逻辑也可能导致该结果——本质是这类类型的空值语义设计更严谨，默认不跳过空值以避免丢失信息。
• pyarrow后端：使用pyarrow浮点类型时，0.0/0.0生成pyarrow的nan，其聚合函数逻辑贴近numpy，默认跳过空值，因此返回1.0。

解决办法 #

1. 显式开启空值跳过：
   计算max()时手动指定skipna=True，强制忽略空值：

   sr = pd.Series([1.5, 0.0]).convert_dtypes()
   result = (sr / sr).max(skipna=True)  # 返回1.0
   

2. 转换为原生numpy类型：
   如果不需要Nullable类型的空值语义，可转成普通浮点类型再运算：

   sr = pd.Series([1.5, 0.0]).convert_dtypes().astype('float64')
   result = (sr / sr).max()  # 返回1.0
   

3. 升级pandas版本：
   较新的pandas版本已调整Nullable类型聚合函数的默认行为，将skipna默认值设为True，升级后可能无需额外设置即可得到预期结果。

是否要避免numpy_nullable后端？ #

不需要完全规避。numpy_nullable的Nullable类型在区分"缺失值"和"无效值（如NaN）"时比原生numpy更严谨，适合需要明确空值语义的场景。只要熟悉其空值处理规则，通过上述方法即可解决此类不一致问题。

内容的提问来源于stack exchange，提问作者user209974