Pandas处理大型DataFrame：代码有效性及多CSV高效导出问询

一、代码可运行性判断 #

如果你的Python代码是基于以下逻辑实现的，基本可以正常运行：

• 用pandas.read_csv()读取文件时，指定parse_dates=['Date']确保日期列被正确解析为时间类型
• 通过df.set_index('Date', inplace=True)将Date列设为索引
• 用df.loc[x1:x2]按LabVIEW传入的日期范围切片（注意要保证x1、x2是Python可识别的datetime类型，若LabVIEW传的是字符串，要提前用pd.to_datetime()转换）
• 针对Pressure列：提取Date和Pressure列，过滤掉值为0的行，再导出为单独CSV
• 针对温度列（假设列名为Temperature）：提取Date和Temperature列，过滤掉值为0或大于150的行，再导出为单独CSV

需要避开的几个坑：

• 如果原CSV的Date列格式不统一，要在read_csv里加date_parser参数做自定义解析
• 导出CSV时用to_csv(index=False)，避免把索引重复写入文件
• 要处理LabVIEW传入参数的类型兼容问题，比如把字符串日期转成datetime对象

二、多天量级大文件的导出效率优化 #

直接把整个大文件加载到内存会导致内存占用过高，针对多天量级的大型CSV，可从以下几点优化：

1. 分块读取处理 #

用pandas.read_csv()的chunksize参数分块加载数据，不用一次性把整个文件塞进内存，示例代码：

# 按1万行一块读取
chunk_iter = pd.read_csv('exp_log.csv', parse_dates=['Date'], chunksize=10000)
filtered_chunks = []
for chunk in chunk_iter:
    chunk.set_index('Date', inplace=True)
    # 只保留日期范围内的数据块
    filtered_chunk = chunk.loc[x1:x2]
    if not filtered_chunk.empty:
        filtered_chunks.append(filtered_chunk)
# 合并所有符合条件的块
df = pd.concat(filtered_chunks)

2. 边读边写，减少内存占用 #

不用先合并所有数据再处理，而是每读取一块就过滤对应列的数据，直接追加到目标CSV文件，示例：

# 处理Pressure列的边读边写
with open('Pressure_cleaned.csv', 'w', newline='') as f:
    first_write = True
    for chunk in pd.read_csv('exp_log.csv', parse_dates=['Date'], chunksize=10000):
        # 先过滤日期范围
        chunk = chunk[(chunk['Date'] >= x1) & (chunk['Date'] <= x2)]
        if chunk.empty:
            continue
        # 过滤Pressure不为0的行
        pressure_chunk = chunk[['Date', 'Pressure']].query('Pressure != 0')
        # 第一次写入加表头，之后只追加数据
        pressure_chunk.to_csv(f, index=False, header=first_write)
        first_write = False

这种方式内存占用极低，适合GB级别的超大型文件。

3. 按需处理，避免重复操作 #

不要先切片整个DataFrame再分别处理每一列，而是针对每一列单独做日期切片+过滤，减少重复的IO和内存操作。

4. 优化数据类型 #

读取文件时指定列的 dtype，比如把Pressure和Temperature设为float32（默认是float64），能大幅减少内存占用：

dtype_config = {'Pressure': 'float32', 'Temperature': 'float32'}
pd.read_csv('exp_log.csv', parse_dates=['Date'], dtype=dtype_config)

内容的提问来源于stack exchange，提问作者Maggie