批量处理上千文件时，高效提取pandas DataFrame子集的最优方法

首先得说，你原来用逐列循环的处理方式，在pandas里属于效率极低的操作——pandas的核心优势就是矢量化运算，循环逐列相当于放弃了底层C引擎的优化能力，尤其是要处理上千个文件时，这个性能差距会被无限放大。下面给你拆解两个核心优化方向：先把单文件处理的效率拉满，再用并行处理搞定批量任务。

一、单文件处理：用矢量化操作替代循环 #

直接利用pandas的布尔索引筛选列，完全抛弃逐列循环，速度能提升几十甚至上百倍：

def process_single_df(DF):
    # 生成布尔掩码：筛选第一行满足 -5 < 值 < 15 的列
    mask = (DF.iloc[0] > -5.0) & (DF.iloc[0] < 15.0)
    # 直接提取符合条件的列，得到目标子集
    DF_subset = DF.loc[:, mask]
    return DF_subset

为什么这比原代码快？ #

原代码的for循环是Python层面的逐列操作，每一次iloc调用都有额外的开销；而上面的代码是矢量化运算，所有判断和筛选逻辑都在pandas底层的C代码中执行，对于你这种9万多列的大DF，性能提升会特别明显。

如果需要和原代码输出完全一致的格式（转成一维再reshape），可以在函数末尾加一行：

return pd.DataFrame(DF_subset.values.reshape(4, -1))

二、批量处理上千个文件：并行加速榨干CPU #

处理上千个文件时，单线程会浪费CPU的多核资源，用并行处理可以把效率提升数倍（取决于你的CPU核心数）。这里推荐用concurrent.futures模块，代码简洁且稳定：

步骤1：定义读取+处理的组合函数 #

假设你的文件是CSV格式，根据实际格式调整读取方法即可：

import pandas as pd
from concurrent.futures import ProcessPoolExecutor

def load_and_process(file_path):
    # 读取文件：按需修改参数（比如header、dtype等）
    DF = pd.read_csv(file_path, header=None)
    # 调用单文件处理函数
    return process_single_df(DF)

步骤2：并行批量执行 #

import glob

# 获取所有目标文件的路径（按你的实际文件路径修改）
file_paths = glob.glob("/your/target/files/*.csv")

# 并行处理：max_workers设为CPU核心数（或略多）
with ProcessPoolExecutor(max_workers=4) as executor:
    # 提交所有任务，获取处理后的结果列表
    processed_dfs = list(executor.map(load_and_process, file_paths))

# 按需保存结果（示例：按序号保存为CSV）
for idx, df_sub in enumerate(processed_dfs):
    df_sub.to_csv(f"/save/path/result_{idx}.csv", index=False, header=False)

额外优化小技巧 #

1. 指定数据类型：读取文件时用dtype=np.float32（或合适的类型），减少内存占用，进一步提升读取和处理速度；
2. 减少中间转换：如果最终不需要转成numpy数组再reshape，直接保留DataFrame格式即可，省去不必要的步骤；
3. 分批次处理：如果文件数量极多，可分批次（比如每次处理100个）执行，避免内存溢出。

内容的提问来源于stack exchange，提问作者Ayan Mitra