如何非迭代高效处理多CSV文件的Pandas行条件判断？Pandas是否适用？

问题背景 #

你有数千个CSV文件，每个文件结构如下（约1000行）：

Hour  Val1 Val2
9:00  2    3
9:05  1    4
9:10  5    6 
9:15  4    8
9:20  6    4

需求是判断每行的Val2是否大于上一行（x-1）和下一行（x+1）的Val1，输出示例：

Hour Cond
9:00 False
9:05 False
9:10 True
9:15 True
9:20 False

疑问解答 #

1. 不迭代DataFrame行的解决方案 #

完全可以用Pandas的矢量化操作实现，无需逐行迭代，这也是Pandas推荐的高效处理方式。核心思路是用shift()函数生成上下行的Val1数据，再做逻辑判断：

import pandas as pd
import glob

# 遍历所有CSV文件的示例
for file_path in glob.glob("*.csv"):
    # 读取CSV（空格分隔的文件用sep="\s+"）
    df = pd.read_csv(file_path, sep="\s+")
    
    # 生成上一行、下一行的Val1数据
    prev_val1 = df["Val1"].shift(1)
    next_val1 = df["Val1"].shift(-1)
    
    # 构造条件：Val2同时大于上下行的Val1，首尾行因无对应行直接为False
    df["Cond"] = (df["Val2"] > prev_val1) & (df["Val2"] > next_val1)
    df["Cond"] = df["Cond"].fillna(False)
    
    # 保存结果（可自定义输出路径）
    df[["Hour", "Cond"]].to_csv(f"result_{file_path}", index=False)

这种方式利用Pandas底层的向量化计算，效率比逐行循环高几个数量级，尤其适合批量处理大量文件的场景。

2. Pandas是否是处理该问题的最佳选择 #

对于你的场景（数千个小CSV，每个1000行结构化数据），Pandas是非常合适的选择，原因如下：

• 矢量化操作效率远高于纯Python循环，能快速完成批量文件的处理；
• 内置的read_csv/to_csv能轻松处理CSV文件的读写，配合glob可以快速遍历所有目标文件；
• 数据转换逻辑简洁直观，代码可读性和维护性强；
• 如果后续需要扩展分析（比如统计全量文件中符合条件的行数、合并所有结果），Pandas的生态能无缝支持。

如果数据规模再扩大几个数量级（比如百万级以上行），可以考虑用Dask做分布式处理，但当前规模下Pandas完全足够。

内容的提问来源于stack exchange，提问作者OdiumPura