如何加速删除大型pandas DataFrame中的全零值列

原写法的性能损耗主要来自两部分：一是pandas层级的布尔运算会携带索引、列名等元数据开销，二是pandas的轴聚合any实现相较于numpy原生实现内存访问效率更低，在百万行千列级别的数据上差距会被放大。

方案1：最小改动的NumPy原生实现（通用场景首选） #

无需额外依赖，仅修改底层运算的调用层级即可获得3~10倍的速度提升：

import pandas as pd
import numpy as np

# 直接基于df底层的numpy数组做运算，跳过pandas元数据开销
non_zero_col_mask = np.any(df.values != 0, axis=0)
df = df.loc[:, non_zero_col_mask]

方案2：稀疏矩阵优化（零值占比>80%场景首选） #

如果数据中零值占比非常高，转换为稀疏矩阵仅处理非零值，可获得10倍以上的速度提升，同时大幅降低内存占用：

import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix

# 转换为CSR格式稀疏矩阵，仅存储非零元素
sparse_arr = csr_matrix(df.values)
# 直接统计每列非零值数量，大于0即为非全零列
non_zero_col_mask = sparse_arr.getnnz(axis=0) > 0
df = df.loc[:, non_zero_col_mask]

方案3：分块处理（内存不足极端场景适用） #

如果内存不足以放下完整数据的布尔掩码，可通过分块计算的方式避免OOM，同时提升CPU缓存命中率：

import pandas as pd
import numpy as np

chunk_size = 500 # 可根据内存大小调整，块越大运算效率越高
mask_list = []
for col_idx in range(0, df.shape[1], chunk_size):
    # 每次只加载一块列的数据做判断
    chunk_arr = df.iloc[:, col_idx:col_idx+chunk_size].values
    mask_list.append(np.any(chunk_arr != 0, axis=0))
# 合并所有块的判断结果
non_zero_col_mask = np.concatenate(mask_list)
df = df.loc[:, non_zero_col_mask]

额外优化建议 #

• 若数据从csv、parquet等外部文件读取，可在读入阶段就分块判断全零列，不需要把全零列加载到内存，进一步节省IO和内存开销。
• 不要使用df.sum(axis=0) == 0的写法实现该逻辑：仅当所有值非负时这个写法才生效，存在正负值抵消的误判风险，且求和的运算量远高于判断是否存在非零值。

内容的提问来源于stack exchange，提问作者J-H