pd.to_numeric处理含单元素numpy值的Series时dtype异常问题

问题复现 #

使用pd.to_numeric并传入errors="coerce"，目标是将任意输入的pandas Series稳定转为数值类型（无法转换的值替换为NaN），但当Series中存在0维numpy数组（单元素numpy数组）作为值时，返回结果dtype异常为object：

>>> import pandas as pd
>>> import numpy as np

>>> s = pd.Series([3, np.array(2.1)])

>>> pd.to_numeric(s, errors="coerce")
0      3
1    2.1
dtype: object

对照测试场景：

• 0维numpy数组内的值可无损转为整数时，转换看似正常（实际为逻辑分支巧合）：

>>> s = pd.Series([3, np.array(2.)])

>>> pd.to_numeric(s, errors="coerce")
0    3
1    2
dtype: int64

• Series不含numpy数组类型值时，转换结果符合预期：

>>> s = pd.Series([3., 2.2])

>>> pd.to_numeric(s, errors="coerce")
0    3.0
1    2.2
dtype: float64

测试环境：Python 3.9.7，pandas 1.3.4，numpy 1.21.4。

原因说明 #

这是pandas 1.3.x版本的固有逻辑缺陷：pd.to_numeric的类型推断流程没有覆盖0维numpy数组的自动拆箱逻辑。当0维数组存储浮点值时，流程会将该元素判定为通用数组对象，整列无法升级为浮点数值类型，最终返回object dtype的结果。
整数场景能正常返回int64，是旧版本整数转换分支的特殊处理触发了隐式拆箱，不属于可稳定依赖的预期行为。

解决方法 #

方法1：预处理拆箱0维数组（兼容所有场景，最稳妥） #

转换前先把所有0维numpy数组拆解为原生标量，再调用pd.to_numeric，可以保证所有边界输入都返回数值dtype：

def stable_to_numeric(s, errors="coerce"):
    processed = s.apply(lambda x: x.item() if isinstance(x, np.ndarray) and x.ndim == 0 else x)
    return pd.to_numeric(processed, errors=errors)

调用效果：

>>> s = pd.Series([3, np.array(2.1)])
>>> stable_to_numeric(s)
0    3.0
1    2.1
dtype: float64

方法2：转换后强制转类型（写法最简单） #

如果不需要区分转换失败的场景，直接在pd.to_numeric后追加astype(float)强制转浮点类型即可：

pd.to_numeric(s, errors="coerce").astype(float)

方法3：升级pandas版本 #

pandas 1.4.0及以上版本已经修复了0维numpy数组的类型推断问题，升级后直接调用原生pd.to_numeric即可得到符合预期的float64结果。

内容的提问来源于stack exchange，提问作者Quentin BLAMPEY