将字符串'Null'替换为pandas NaN——向量化实现

嘿，很高兴你问到这个！自2016年以来，Pandas和NumPy的生态已经有了不少更高效的向量化方案，完全能替代性能一般的applymap。下面是几个实用且速度更快的方法：

1. 使用Pandas内置的replace()（最推荐） #

这是最简洁也最高效的向量化操作之一，底层由C实现，彻底避开了Python层面的循环开销：

import pandas as pd
import numpy as np

# 单值替换
df = df.replace('NULL', np.nan)

# 多值同时替换（比如你的掩码值--也一起处理）
df = df.replace({'NULL': np.nan, '--': np.nan})

它会自动遍历整个DataFrame，对所有符合条件的值进行替换，性能比applymap快几个数量级，尤其是在大数据集上。

2. 使用mask()或where()进行条件替换 #

这两个方法都是元素级的向量化操作，通过布尔条件直接替换值：

# mask：把符合条件的值替换为指定值
df = df.mask(df == 'NULL', np.nan)

# where：把不符合条件的值替换为指定值（逻辑和mask相反）
df = df.where(df != 'NULL', np.nan)

它们的性能同样远优于applymap，而且逻辑清晰，适合需要自定义替换条件的场景。

3. 结合NumPy的np.where()做数组级替换 #

如果你想完全基于NumPy的向量化能力处理，可以直接操作DataFrame的底层数组：

df = pd.DataFrame(
    np.where(df.values == 'NULL', np.nan, df.values),
    columns=df.columns,
    index=df.index
)

这种方法利用了NumPy的高效数组运算，在超大数据集上的表现非常出色。

4. 从源头解决：读取数据时指定缺失值 #

如果你的数据是从文件（比如CSV）读取的，其实可以在读取阶段就直接标记缺失值，省去后续替换步骤：

df = pd.read_csv('your_data.csv', na_values=['NULL', '--'])

这是最高效的方式，因为解析器会直接把指定的标记转换成np.nan，不需要额外的遍历操作。

性能对比 #

这些方法的速度大致排序为：

• 读取时指定na_values > np.where() ≈ pd.replace() > mask()/where() > applymap

所有这些方法都比applymap更适合处理大规模数据，因为它们都是真正的向量化操作，避开了Python循环的性能开销。

内容的提问来源于stack exchange，提问作者A H