按ID将超大CSV文本文件行分组到小文件的最优实现方式

嘿，处理超大CSV按ID拆分这个需求，核心痛点就是不能把整个文件塞进内存——不然分分钟触发OOM。我给你两个最高效的方案，覆盖脚本和命令行场景，按需挑：

方案1：Python 流式处理（灵活可控） #

这个方案全程流式读取，每次只处理一行，内存占用极低，还能灵活扩展逻辑（比如数据清洗、格式校验）。关键是用字典缓存文件句柄，避免频繁打开/关闭文件的IO开销：

import csv
from collections import defaultdict

def split_large_csv_by_id(input_file_path):
    # 用字典缓存每个ID对应的文件句柄和写入器
    file_handlers = defaultdict(lambda: None)
    
    try:
        # 打开源文件，流式读取
        with open(input_file_path, 'r', encoding='utf-8') as source_file:
            csv_reader = csv.reader(source_file)
            
            for row in csv_reader:
                if not row:
                    continue  # 跳过空行
                
                current_id = row[0]
                # 如果当前ID的文件还没打开，创建并初始化写入器
                if file_handlers[current_id] is None:
                    output_file = open(f"{current_id}.csv", 'a', encoding='utf-8', newline='')
                    csv_writer = csv.writer(output_file)
                    file_handlers[current_id] = (output_file, csv_writer)
                
                # 写入当前行到对应ID的文件
                file_handlers[current_id][1].writerow(row)
    
    finally:
        # 确保所有打开的文件都被关闭，避免资源泄漏
        for output_file, _ in file_handlers.values():
            if output_file:
                output_file.close()

# 调用示例：替换成你的大文件路径
split_large_csv_by_id("your_large_file.csv")

这个方案的优势： #

• 内存友好：全程只在内存中保留一行数据和文件句柄字典，内存占用几乎可以忽略
• 可靠处理CSV：自带的csv模块能正确处理单元格包含逗号、换行符等特殊情况（如果你的数据有这种场景）
• 可扩展性强：随时可以加逻辑（比如过滤特定ID、清洗脏数据）

方案2：awk 命令行工具（极致速度） #

如果你的系统是Linux/macOS（或者用WSL/Git Bash的Windows），awk是处理这类文本任务的神器——原生C实现，流式处理，速度比Python快一个量级，而且一行命令搞定：

# 基础版：按ID拆分，自动创建对应文件
awk -F ',' '{print >> $1".csv"; close($1".csv")}' your_large_file.csv

进阶版（带表头）： #

如果需要每个小文件都保留原CSV的表头，稍微改一下命令即可：

awk -F ',' '
NR==1 {header=$0; next} 
{
    if (!($1 in written_headers)) {
        print header >> $1".csv"
        written_headers[$1] = 1
    }
    print >> $1".csv"
    close($1".csv")
}' your_large_file.csv

为什么加close($1".csv")？ #

如果你的ID数量极多，不关闭文件会触发系统“打开文件句柄数上限”的报错，加上close能避免这个问题，同时也能及时刷写磁盘缓存。

方案选择建议 #

• 如果你需要灵活处理逻辑（比如数据校验、字段转换）：选Python方案
• 如果你追求极致速度和极简操作：选awk方案

两种方案都是纯流式处理，完全不会把整个文件加载进内存，完美适配你的大内存占用CSV场景。

内容的提问来源于stack exchange，提问作者Daniel Möller