如何删除大型CSV文件指定行数？寻求非重写文件方案

针对你处理20万+行大型CSV文件、删除前100行且不想完整写入临时文件的需求，我整理了几个实用且高效的方案：

1. 使用sed原地编辑（无需临时文件，首推） #

sed是流式文本编辑器，处理大文件时不会把整个文件加载到内存，而是逐行处理，还支持直接修改原文件，完全匹配你的需求。

• Linux/GNU sed环境：

  sed -i '1,100d' your_large_file.csv
  

  解释：-i代表原地编辑，1,100d指令意为删除第1到100行。

• macOS/BSD sed环境：
  BSD sed的-i参数需要指定备份后缀（不需要备份的话传空字符串即可）：

  sed -i '' '1,100d' your_large_file.csv
  

  若想保留备份文件，可写成sed -i '.bak' '1,100d' your_large_file.csv，会生成your_large_file.csv.bak备份。

这个方法全程流式处理，既不用加载整个文件到内存，也不需要额外临时文件，处理20万行CSV的速度非常快。

2. 结合tail和sponge（无临时文件的替代方案） #

tail可以直接从指定行开始输出内容，配合sponge工具能避免直接重定向导致的文件清空问题：

tail -n +101 your_large_file.csv | sponge your_large_file.csv

解释：tail -n +101表示从第101行开始输出所有内容；sponge会先接收全部输出内容，再一次性写入原文件，避免边读边写的冲突。

如果你的系统没有sponge（通常属于moreutils工具包），可以通过包管理器安装：Ubuntu用sudo apt install moreutils，macOS用brew install moreutils。

3. Python脚本流式处理（适合需要自定义逻辑的场景） #

如果需要添加自定义处理逻辑，Python可以通过迭代器逐行处理，内存占用极低，仅用一个小临时文件存储需要保留的内容（而非完整复制原文件）：

import shutil
from tempfile import NamedTemporaryFile

# 替换为你的CSV文件路径
input_file = "your_large_file.csv"

with open(input_file, 'r', encoding='utf-8') as infile, \
     NamedTemporaryFile(mode='w', encoding='utf-8', delete=False) as outfile:
    # 跳过前100行
    for _ in range(100):
        next(infile)
    # 高效复制剩余所有行（底层是块级复制，比逐行write更快）
    shutil.copyfileobj(infile, outfile)

# 用临时文件替换原文件（原子操作，避免中途出错导致文件损坏）
shutil.move(outfile.name, input_file)

这个方法的优势是可以在跳过行之后添加自定义逻辑（比如过滤特定内容），且临时文件仅存储需要保留的部分，开销远小于完整复制原文件。

重要提醒 #

不管用哪种方法，处理前一定要备份原文件！比如：

cp your_large_file.csv your_large_file_backup.csv

避免操作失误导致数据丢失。

内容的提问来源于stack exchange，提问作者Kippk11