如何在指定列子集上高效实现pd.replace操作

import numpy as np
import pandas as pd

def replace_inf(df):
    no_infs = ['some_col', 'some_col']
    # 快速筛选需要处理的列
    inf_cols = df.columns.difference(no_infs)
    # 批量完成替换与类型转换，避免逐列循环
    df[inf_cols] = df[inf_cols].replace([np.nan, np.inf, -np.inf], 0, regex=False).astype(np.float32)
    return df

优化核心说明 #

• 移除Python层面的逐列循环：原代码的for循环是性能瓶颈，改用pandas矢量化批量操作，所有列的处理在底层一次性完成，直接降低耗时。
• 简化列筛选逻辑：用df.columns.difference(no_infs)替代列表推导式，利用pandas列对象的集合特性，筛选效率更高。
• 关闭正则匹配：原代码替换的是明确的特殊值，无需启用regex=True，关闭后减少不必要的性能消耗。

如果追求极致性能，可改用numpy底层数组操作：

def replace_inf(df):
    no_infs = ['some_col', 'some_col']
    inf_cols = df.columns.difference(no_infs)
    # 提取目标列的numpy数组
    arr = df[inf_cols].to_numpy()
    # 用numpy矢量化条件替换特殊值
    arr[np.isnan(arr) | np.isinf(arr)] = 0
    # 转换类型后赋值回DataFrame
    df[inf_cols] = arr.astype(np.float32)
    return df

这个版本直接操作numpy数组，比pandas的replace方法性能更优，处理大数据集时提速效果更显著。

内容的提问来源于stack exchange，提问作者Ahmed