如何用Pandas高效将列中特定噪声值替换为前一行有效值？

需求说明 #

在DataFrame的「Barometric Altitude」列中，将所有等于16383.997535000002的噪声值替换为最近的前一行有效值；若遇到连续多个噪声值，全部用最近的有效值覆盖。

原迭代实现（速度瓶颈） #

def cleanData(df) :
    lastGoodValue = 0
    for row in df.itertuples() :
        if (df.at[row.Index, 'Barometric Altitude'] == 16383.997535000002) :
            df.at[row.Index, 'Barometric Altitude'] = lastGoodValue 
        else:
            lastGoodValue = df.at[row.Index, 'Barometric Altitude']
    return df

Pandas风格高效解决方案 #

利用Pandas内置的向量化方法替代循环，效率提升显著：

def cleanData(df):
    noise_value = 16383.997535000002
    # 把噪声值标记为缺失值NaN
    df['Barometric Altitude'] = df['Barometric Altitude'].mask(
        df['Barometric Altitude'] == noise_value
    )
    # 向前填充缺失值，用最近的前一个有效值覆盖
    df['Barometric Altitude'] = df['Barometric Altitude'].ffill()
    
    # 若第一行就是噪声值，需要默认值（比如原代码的0），可追加以下代码
    # df['Barometric Altitude'] = df['Barometric Altitude'].fillna(0)
    
    return df

方法解析 #

• mask()：批量将符合条件的噪声值转为NaN，避免逐行判断
• ffill()（全称forward fill）：沿列方向用前一个非缺失值填充当前缺失值，天然支持连续噪声值的覆盖需求

内容的提问来源于stack exchange，提问作者CodeCabbie