如何实现读取CSV文件行后删除该行以加速大CSV文件拆分？

这个思路抓得很准！传统用skipRows的方式确实会重复读取已经处理过的行，对于30GB的大文件来说，这种重复IO简直是性能杀手。不过直接删除原文件里的已处理行其实不是最优解——因为磁盘文件的存储特性，删除中间行需要重写整个文件，反而会带来额外的开销。给你两个更高效的实现方案，既避免重复读取，又不用折腾原文件：

方案一：Python流式读取（灵活可控） #

我平时处理大CSV文件最常用的就是这个方法，核心是保持输入文件持续打开，让csv.reader迭代器从上次中断的位置继续读取，完全跳过已处理的内容，没有任何重复IO：

import csv

def split_large_csv(input_file, output_prefix, rows_per_file=1000):
    # 持续打开输入文件，避免重复打开/读取
    with open(input_file, 'r', newline='', encoding='utf-8') as infile:
        reader = csv.reader(infile)
        # 先读取表头，后续每个小文件都要写入
        header = next(reader)
        file_num = 1
        
        while True:
            # 生成新的输出文件名
            out_filename = f"{output_prefix}_part{file_num}.csv"
            with open(out_filename, 'w', newline='', encoding='utf-8') as outfile:
                writer = csv.writer(outfile)
                writer.writerow(header)
                
                # 写入指定行数的数据
                rows_written = 0
                for row in reader:
                    writer.writerow(row)
                    rows_written += 1
                    if rows_written >= rows_per_file:
                        break
                
                # 如果没写入任何行，说明所有数据处理完成
                if rows_written == 0:
                    break
            
            file_num += 1
            print(f"已生成文件: {out_filename}")

# 调用示例：把large_data.csv拆分成每个1000行的小文件，前缀是small_data
split_large_csv("large_data.csv", "small_data", rows_per_file=1000)

关键优势： #

• 全程只读取原文件一次，没有重复IO操作，速度比skipRows快几个数量级
• 不修改原文件，数据安全有保障
• 可以灵活调整每行的处理逻辑（比如过滤、转换数据）

方案二：Shell命令（极速处理超大型文件） #

如果你的系统是Linux/macOS，或者有Git Bash这类支持shell命令的环境，用原生工具处理大文件会比Python快得多——毕竟这些工具是专门为文件流式处理优化的：

1. 先提取CSV表头：

head -n 1 large_data.csv > header.csv

2. 拆分数据行（跳过表头）：
   这里split的-l参数设为999，因为每个小文件要包含1000行（1行表头+999行数据）：

tail -n +2 large_data.csv | split -l 999 - small_data_part_

3. 给每个拆分后的文件添加表头：

for file in small_data_part_*; do cat header.csv "$file" > temp && mv temp "$file"; done

关键优势： #

• 底层原生实现，处理30GB级别的文件速度快到离谱
• 命令简洁，不需要写复杂代码
• 几乎不占用内存，完全流式处理

为什么不推荐删除原文件的已处理行？ #

你想避免重复读取的思路是对的，但删除原文件中间的行其实得不偿失：磁盘上的文件是连续存储的，删除中间的1000行，系统需要把后面所有内容往前移动1000行的位置，这相当于重写大半个文件，对于30GB的文件来说，这个操作的耗时会远远超过你节省的skip时间。而上面的两种方案都是流式处理，处理一行就释放一行的内存，全程只读取原文件一次，这才是真正的高效。

注意事项： #

• 确保CSV文件的编码正确（比如utf-8），如果是其他编码，Python代码里要修改encoding参数
• Windows系统下换行符可能有问题，Python代码里的newline=''可以让csv模块自动处理
• 如果每行数据特别大，可以适当调小rows_per_file，避免内存占用过高

内容的提问来源于stack exchange，提问作者Abhinav Agrawal