使用大量np.where后触发Pandas高度碎片化性能警告如何解决？

你遇到的DataFrame is highly fragmented警告由Pandas的内存管理机制导致：逐次执行df[col] = ...新增列时，Pandas会为每个新列单独分配独立内存块，连续新增80列会让DataFrame内部的BlockManager拆分出大量零散内存块，后续查询、计算时需要跨块寻址，性能会随列数增加持续下降。

核心思路是避免逐列往原始DataFrame插入值：先把所有自定义字段计算为一个列名、索引和原df完全对齐的新DataFrame，最后一次性和原DataFrame横向拼接，从根源上避免内存碎片化。
对应示例的优化代码如下：

import pandas as pd
import numpy as np

# 原始数据集
df = pd.DataFrame({'num_legs': [2, 4, 8, 0],
                   'num_wings': [2, 0, 0, 0]},
                   index=['falcon', 'dog', 'spider', 'fish'])

# 批量计算所有自定义列，生成独立的自定义字段DataFrame
custom_cols = pd.DataFrame({
    'custom1': np.where(df['num_legs'].values > 2, 1, 0),
    'custom2': np.where(df['num_wings'] == df['num_legs'], 1, 0),
    'custom3': np.where((df['num_wings'].values == 0) | (df['num_legs'].values == 0), 1, 0)
    # 剩余77个自定义字段按相同格式续写即可
}, index=df.index)  # 必须指定索引和原df对齐，避免行错位

# 一次性拼接原数据和所有自定义列
df = pd.concat([df, custom_cols], axis=1)

注意：

1. 计算时调用.values取Numpy数组的写法可以保留，能减少Pandas索引对齐的额外开销，比直接传入Series速度更快。
2. 不推荐警告里提到的df.copy()方案，该方法只是在逐列插入完成后强制做一次内存拷贝消除警告，没有解决逐列插入过程中的性能损耗问题，属于治标不治本的写法。

当自定义字段数量较多时，把所有计算逻辑堆在DataFrame构造器里可读性会变差，可以把字段计算逻辑统一整理为「字段名:计算结果」格式的字典，再批量生成自定义列，后续增删字段只需要修改字典即可：

# 统一维护所有自定义字段的计算规则
custom_logic = {
    "custom1": np.where(df['num_legs'].values > 2, 1, 0),
    "custom2": np.where(df['num_wings'] == df['num_legs'], 1, 0),
    "custom3": np.where((df['num_wings'].values == 0) | (df['num_legs'].values == 0), 1, 0),
    # 后续新增自定义字段直接追加键值对即可
}

# 批量生成并拼接，关闭不必要的内存拷贝进一步提速
df = pd.concat(
    [df, pd.DataFrame(custom_logic, index=df.index)],
    axis=1,
    copy=False
)

• 逐列赋值写法：每新增1列都会触发DataFrame的内存块检查和结构调整，列数越多性能衰减越明显，80列场景下比一次性拼接慢3~10倍（数据行数越多差距越大），且会持续触发碎片化警告。
• 一次性拼接写法：所有自定义列先在连续内存块中生成完成，仅做一次合并操作，时间复杂度随列数线性增长，无碎片化问题，计算结果和逐列np.where、原SQL CASE WHEN逻辑完全一致。

内容的提问来源于stack exchange，提问作者V_S