Pandas正则替换空串/空格为np.nan时有效数字误转NaN问题

问题现象 #

开发大型程序时遇到数值输出为NaN的bug，暂未明确触发原因：

• 业务场景：导入的数据常包含空字符串""或空格" "，会被自动识别为object类型，需要将空字符串、任意数量的空格统一替换为np.nan，要求逻辑兼容单元素/多元素Series，同时支持元素为数值型、字符串型的场景。
• 异常表现：使用直觉编写的正则规则执行替换时，合法数值会被错误替换为NaN，调试过程执行记录如下：

ipdb> temp_v1
value    1250.00
Name: standard, dtype: object
ipdb> temp_v1.replace(r"\s*", np.nan, regex=True)
value   NaN
Name: standard, dtype: float64
ipdb> type(temp_v1)
<class 'pandas.core.series.Series'>
ipdb> temp_v1.dtype
dtype('O')
ipdb> temp_v1.str.replace(r"\s*", np.nan, regex=True)
*** TypeError: repl must be a string or callable
ipdb> temp_v1.astype(str).replace(r"\s*", np.nan, regex=True)
value   NaN
Name: standard, dtype: float64

编写的最小可复现示例如下：

import pandas as pd
import numpy as np

x = pd.Series(['1250.00'])

x.replace(r"\s*", np.nan, regex=True)

运行上述代码多数场景会输出NaN，仅偶尔运行正常：当替换值设置为空字符串时可得到正确数值结果，相同逻辑仅将替换值改为np.nan时，就会将合法数值转为NaN，异常触发规律不明确。
测试对比记录：

In [19]: x = pd.Series(['123.44'])

In [20]: x.replace(r"\s*", "", regex=True)
Out[20]: 
0    123.44
dtype: object

间隔数行执行相同逻辑出现异常：

In [29]: x = pd.Series(['123.44'])

In [30]: x.replace(r'\s*', np.nan, regex=True)
Out[30]: 
0   NaN
dtype: float64

根因分析 #

问题出在正则规则的写法错误：

1. 正则\s*的语义是匹配0个或多个任意空白字符，没有加字符串首尾锚定，意味着任意字符串（哪怕是无任何空格的纯数字字符串）的开头、字符间隙、结尾位置的0长度空白都会被命中匹配。
2. 当替换值为空字符串""时，0长度的匹配项替换为空字符串不会改变原内容，因此看似运行正常，实际是规则错误下的巧合假象。
3. 当替换值为np.nan时，只要字符串中存在任意匹配项（包括0长度的匹配位置），整个元素就会被替换为np.nan，因此所有元素都会被误替换。
4. Series.str.replace方法要求替换值必须是字符串或可调用对象，因此直接传入np.nan会抛出类型错误，该方法不适合当前场景。

正确实现方案 #

需要将正则修改为匹配整串完全为空、或整串全为任意数量空白的模式，即添加首尾锚定符的r'^\s*$'，即可实现需求，兼容所有场景：

import pandas as pd
import numpy as np

def blank_to_nan(s: pd.Series) -> pd.Series:
    """
    将Series中的空字符串、任意数量空格统一替换为np.nan
    兼容单/多元素、数值/字符串混合类型的输入
    """
    return s.replace(r'^\s*$', np.nan, regex=True)

# 测试验证
if __name__ == "__main__":
    # 测试纯数值字符串场景
    s1 = pd.Series(['1250.00', '123.44'])
    print(blank_to_nan(s1))
    # 输出：
    # 0    1250.00
    # 1     123.44
    # dtype: object

    # 测试混合类型场景：空串、全空格、带前后空格数值、纯数值、已有nan
    s2 = pd.Series(['', '   ', '  456  ', 789, np.nan])
    print(blank_to_nan(s2))
    # 输出：
    # 0    NaN
    # 1    NaN
    # 2    456
    # 3    789
    # 4    NaN
    # dtype: object

内容的提问来源于stack exchange，提问作者pauljohn32