在Foundry中如何解析大型压缩CSV文件且避免执行器OOM？

可以实现，你只需要采用流式分块处理的写法即可避免全量加载文件引发的OOM问题，整个流程的内存占用和原始文件的总大小无关，仅和你设置的单块处理大小挂钩。

核心实现逻辑 #

• 不要调用一次性加载全量文件的方法（比如gzip.read()、无分块参数的pandas.read_csv()等），这类方法会尝试把整个解压后的文件加载到内存，40GB的文件必然会触发OOM
• 利用Pythongzip模块原生支持的流式迭代能力，逐行/逐块读取解压后的内容，处理完就释放内存，内存占用始终维持在低位
• 写入数据集时同样采用批量分块写入的方式，不要攒全量数据再一次性写

示例代码 #

基于标准库csv的流式处理 #

import gzip
import csv

# 可根据执行器可用内存调整单批处理行数
BATCH_SIZE = 10000

with gzip.open("your_file.csv.gz", "rt", encoding="utf-8") as f:
    csv_reader = csv.reader(f)
    # 读取表头
    header = next(csv_reader)
    batch = []
    for row in csv_reader:
        batch.append(row)
        if len(batch) >= BATCH_SIZE:
            # 替换为你写入数据集的对应逻辑
            write_to_dataset(header, batch)
            # 清空批次缓存释放内存
            batch = []
    # 处理最后不足批次大小的剩余数据
    if batch:
        write_to_dataset(header, batch)

基于pandas的分块处理 #

如果需要对数据做转换处理，用pandas分块读取更方便：

import pandas as pd

# 可根据执行器内存调整单块大小，单位为行数
CHUNK_SIZE = 5000

# 直接指定compression参数流式读取gzip压缩文件
for chunk in pd.read_csv("your_file.csv.gz", compression="gzip", chunksize=CHUNK_SIZE):
    # 此处可添加对chunk的转换处理逻辑
    # 写入数据集
    chunk.to_csv(...) # 替换为对应数据集写入接口调用

注意事项 #

• 执行器可用内存只要大于单块数据的峰值占用即可，建议留出至少20%的冗余空间，避免偶发的内存峰值超出配额
• 不需要提前把压缩文件完整解压到磁盘，流式处理会同步完成解压、读取、写入全流程，不会产生额外的临时磁盘占用
• 如果你的数据集写入接口支持流式迭代写入，可以直接对接读取迭代器，不需要额外做批次缓存，内存占用会更低

内容的提问来源于stack exchange，提问作者vanhooser