如何使用方法链替换Pandas特定列中的字符串值？

问题描述 #

我有一个Pandas DataFrame，其中部分字符串值为"NA"。希望使用方法链替换特定列（如下例中的'strCol'）中的这些值。以下是最小示例代码：

import pandas as pd

df = pd.DataFrame({'A':[1,2,3,4],
                   'B':['val1','val2','NA','val3']})
df = (
    df
    .rename(columns={'A':'intCol', 'B':'strCol'})  # 方法链示例操作1
    .astype({'intCol':float})  # 方法链示例操作2
    # .where(df['strCol']=='NA', pd.NA) # 此处如何替换字符串'NA'？该写法无效...
    )
df

解决方案 #

以下是几种适合方法链的实现方式：

方法1：使用replace（最简洁） #

replace支持针对特定列传递替换规则字典，直接在方法链中调用即可：

import pandas as pd

df = pd.DataFrame({'A':[1,2,3,4],
                   'B':['val1','val2','NA','val3']})
df = (
    df
    .rename(columns={'A':'intCol', 'B':'strCol'})
    .astype({'intCol':float})
    .replace({'strCol': {'NA': pd.NA}})  # 仅对strCol列替换"NA"为pd.NA
)
print(df)

方法2：使用assign结合mask（灵活适配复杂条件） #

assign用于修改列，mask会将满足条件的元素替换为指定值，适合需要自定义复杂判断的场景：

import pandas as pd

df = pd.DataFrame({'A':[1,2,3,4],
                   'B':['val1','val2','NA','val3']})
df = (
    df
    .rename(columns={'A':'intCol', 'B':'strCol'})
    .astype({'intCol':float})
    .assign(strCol=lambda x: x['strCol'].mask(x['strCol'] == 'NA', pd.NA))
)
print(df)

方法3：修正where的用法（理解逻辑后使用） #

where的逻辑是：条件为True时保留原数值，False时替换为指定值，因此要替换"NA"需要反转条件：

import pandas as pd

df = pd.DataFrame({'A':[1,2,3,4],
                   'B':['val1','val2','NA','val3']})
df = (
    df
    .rename(columns={'A':'intCol', 'B':'strCol'})
    .astype({'intCol':float})
    .assign(strCol=lambda x: x['strCol'].where(x['strCol'] != 'NA', pd.NA))
)
print(df)

注意事项 #

• 方法链中不要直接引用原始df（比如你最初写的df['strCol']），应该用lambda x引用当前步骤的DataFrame，否则会破坏方法链的连续性；
• 如果需要替换为numpy的缺失值，可以用np.nan代替pd.NA，但pd.NA更适合字符串列的缺失标记。

内容的提问来源于stack exchange，提问作者packoman