大型DataFrame多列赋值极慢或无响应问题求助

问题根源 #

你遇到的卡顿核心在于第一种写法的双重开销：

1. 先创建300列的完整副本（prices = df[self.__PRICE_COLUMNS].ffill().bfill()）；
2. 后续赋值时，Pandas会执行大量隐式操作——比如严格的索引对齐检查、数据类型匹配校验、内存块重新分配，当列数多（300列）且数据量较大时，这些操作会直接拉满CPU，甚至因内存调度问题卡住。

原地操作之所以快，是因为它直接在原数据的内存块上修改，跳过了副本创建和额外的对齐校验步骤，但缺点是会修改原始DataFrame。

非原地操作的优化方案 #

以下几种写法既保留原DataFrame不变，又能达到和原地操作接近的效率：

方案1：先深拷贝，再对副本做原地操作

这是最直接的替代方案，既避免修改原数据，又复用原地操作的高效逻辑：

def _impute(self, df):
    # 创建原DataFrame的深拷贝，完全隔离原数据
    df_copy = df.copy(deep=True)
    # 对副本执行插补操作，逻辑和原地写法一致
    df_copy[self.__PRICE_COLUMNS].ffill(inplace=True)
    df_copy[self.__PRICE_COLUMNS].bfill(inplace=True)
    return df_copy

也可以用链式写法，效果一致：

def _impute(self, df):
    df_copy = df.copy(deep=True)
    df_copy[self.__PRICE_COLUMNS] = df_copy[self.__PRICE_COLUMNS].ffill().bfill()
    return df_copy

方案2：仅处理目标列，再拼接回原DataFrame

只复制需要插补的列，避免全量拷贝，适合非价格列占比高的场景：

def _impute(self, df):
    # 单独处理需要插补的列
    imputed_prices = df[self.__PRICE_COLUMNS].ffill().bfill()
    # 拼接未处理的列和插补后的列
    df_imputed = pd.concat([df.drop(columns=self.__PRICE_COLUMNS), imputed_prices], axis=1)
    # 可选：恢复原DataFrame的列顺序
    df_imputed = df_imputed[df.columns]
    return df_imputed

方案3：使用assign批量替换列

利用Pandas的assign方法优化赋值逻辑，内部会减少不必要的内存开销：

def _impute(self, df):
    # 生成插补后的列字典
    imputed_cols = {col: df[col].ffill().bfill() for col in self.__PRICE_COLUMNS}
    # assign返回新的DataFrame，原数据不受影响
    return df.assign(**imputed_cols)

补充说明 #

当列数较少（20列）时，第一种写法能运行是因为副本体积小，赋值时的校验和内存操作开销在可接受范围内，但依然会因创建副本+赋值校验导致CPU占用率拉满——这是Pandas处理大量列时的常见性能瓶颈，核心优化思路就是减少不必要的副本创建和隐式校验。

内容的提问来源于stack exchange，提问作者HarryChil