Pandas中异常值处理：将异常值替换为np.nan的实现问题

原代码的核心问题 #

• 只检查了列的第一个元素是否为异常值，只要第一个元素超出范围，就把整列全部设为NaN，完全不符合“仅替换列中异常值”的需求。
• 没有对列内每个元素做单独判断，错误地进行了整列批量替换。

修正后的代码 #

import numpy as np
import pandas as pd

def outlier(df):
    new_df = df.copy()
    # 筛选所有数值型列，官方推荐的稳妥写法
    numeric_cols = new_df.select_dtypes(include=['number']).columns
    for col in numeric_cols:
        # 用pandas内置的quantile计算四分位数，兼容性更好
        q1 = new_df[col].quantile(0.25)
        q3 = new_df[col].quantile(0.75)
        IQR = q3 - q1
        lower_limit = q1 - 1.5 * IQR
        upper_limit = q3 + 1.5 * IQR
        
        # 精准定位异常值并替换为NaN
        # 写法一：用np.where实现
        new_df[col] = np.where(
            (new_df[col] < lower_limit) | (new_df[col] > upper_limit),
            np.nan,
            new_df[col]
        )
        
        # 写法二：用loc布尔索引（效果一致，按需选择）
        # new_df.loc[(new_df[col] < lower_limit) | (new_df[col] > upper_limit), col] = np.nan
    return new_df

关键改进说明 #

• 替换_get_numeric_data()为select_dtypes(include=['number'])：这是pandas官方推荐的筛选数值列方法，逻辑更清晰，避免依赖内部方法的潜在变动。
• 针对列内每个元素判断：通过布尔索引或np.where，只把超出范围的单个值替换为NaN，保留正常数值。
• 用pandas的quantile计算分位数：默认会忽略列内已有的NaN值，计算结果更准确，和DataFrame的适配性更强。

内容的提问来源于stack exchange，提问作者user19022072