Pandas分块多条件过滤大CSV遇内存错误，求高效实现方案

我有一个大型CSV文件，必须用Pandas读取处理，不能使用Dask。采用分块读取方式时，分块大小设为5000000时，直接导出分块或单条件（Column3=='B'）过滤导出均正常。但添加第二个条件（Column2前两位为"5C"且Column3=='B'）后，执行时出现MemoryError，且错误发生在后续分块处理阶段。调小分块大小至500000才成功，想确认是否因多条件过滤的实现方式低效导致内存占用过高，同时寻求最多支持6个条件的高效多条件筛选实现方法。

相关代码示例 #

单条件过滤代码 #

import os
import pandas as pd
import csv

with pd.read_csv(r'C:\myfolder\large_file.csv', sep=";", encoding="utf-8", dtype=dtypes, decimal=",", chunksize=5000000) as reader:
    for chunk in reader: 
        filtered = chunk[chunk['Column3']=='B']
        filtered.to_csv(output_path, mode='a', header=not os.path.exists(output_path),
                    encoding="utf-8",
                    index=False,
                    sep=";",
                    decimal=",",
                    date_format="%d.%m.%Y",
                    quoting=csv.QUOTE_MINIMAL)

多条件过滤报错代码 #

import os
import pandas as pd
import csv

with pd.read_csv(r'C:\myfolder\large_file.csv', sep=";", encoding="utf-8", dtype=dtypes, decimal=",", chunksize=5000000) as reader:
    for chunk in reader: 
        filtered = chunk[(chunk['Column3']=='B') & (chunk['Column2'].str[:2]=="5C")]
        filtered.to_csv(output_path, mode='a', header=not os.path.exists(output_path),
                    encoding="utf-8",
                    index=False,
                    sep=";",
                    decimal=",",
                    date_format="%d.%m.%Y",
                    quoting=csv.QUOTE_MINIMAL)

内存溢出原因 #

• 字符串切片操作str[:2]会生成完整的子字符串临时Series，加上多条件组合时的布尔数组，单块内存中会同时存在多个临时对象，内存开销比单条件场景显著上升。如果Column2是大字符串列，临时Series的内存占用会非常可观。
• 分块处理时，前一个分块的临时对象若未被及时回收，后续分块的内存占用叠加后会触发溢出。

高效多条件筛选实现方法 #

1. 优化字符串条件判断，减少临时对象 #

用str.startswith()替代str[:2]，前者无需生成子字符串Series，直接返回布尔结果，内存效率更高。同时分步生成条件并手动清理临时变量，帮助GC回收内存：

import os
import pandas as pd
import csv
import gc

# 提前判断是否需要写入表头，避免循环内重复IO检查
header = not os.path.exists(output_path)

with pd.read_csv(r'C:\myfolder\large_file.csv', sep=";", encoding="utf-8", dtype=dtypes, decimal=",", chunksize=5000000) as reader:
    for chunk in reader:
        # 分步生成条件掩码，减少临时对象同时存在的时间
        mask_col3 = chunk['Column3'] == 'B'
        mask_col2 = chunk['Column2'].str.startswith('5C')
        combined_mask = mask_col3 & mask_col2
        
        filtered = chunk[combined_mask]
        filtered.to_csv(output_path, mode='a', header=header,
                    encoding="utf-8",
                    index=False,
                    sep=";",
                    decimal=",",
                    date_format="%d.%m.%Y",
                    quoting=csv.QUOTE_MINIMAL)
        
        # 手动清理临时变量，释放内存
        del mask_col3, mask_col2, combined_mask, filtered
        # 强制触发垃圾回收，避免内存堆积
        gc.collect()
        
        # 第一次写入后关闭表头
        header = False

2. 使用query()方法简化多条件逻辑 #

Pandas的query()方法内部优化了表达式执行，内存开销低于手动组合布尔数组，尤其适合多条件场景，最多支持6个条件的组合直接写入表达式：

import os
import pandas as pd
import csv
import gc

header = not os.path.exists(output_path)

with pd.read_csv(r'C:\myfolder\large_file.csv', sep=";", encoding="utf-8", dtype=dtypes, decimal=",", chunksize=5000000) as reader:
    for chunk in reader:
        # 基础双条件示例
        filtered = chunk.query("Column3 == 'B' and Column2.str.startswith('5C')")
        # 扩展为6个条件的示例：
        # filtered = chunk.query("Column3 == 'B' and Column2.str.startswith('5C') and Column1 > 100 and Column4 == 'X' and Column5 < 2024 and Column6.str.contains('test')")
        
        filtered.to_csv(output_path, mode='a', header=header,
                    encoding="utf-8",
                    index=False,
                    sep=";",
                    decimal=",",
                    date_format="%d.%m.%Y",
                    quoting=csv.QUOTE_MINIMAL)
        
        del filtered
        gc.collect()
        header = False

3. 指定高效的dtype压缩内存 #

将Column2的dtype指定为string（Pandas 1.0+版本支持），替代默认的object dtype，string类型的内存效率更高，字符串操作速度更快：

# 在读取前定义dtypes，其他列也可按需指定更紧凑的类型（如int32、float32）
dtypes = {
    'Column2': 'string',
    # 'Column1': 'int32',
    # 'Column5': 'float32'
}

内容的提问来源于stack exchange，提问作者PSt