Python中读取并删除超大文件前N行的最快实现方法是什么？

数据老陈

2026-10-1

Python超大文件读取并删除前N行最优实现

你之前读取前N行的实现已经是内存最优的写法，不需要调整，只需要把删除逻辑替换为以下方案即可。

方案1：系统原生命令实现（性能最高）

利用操作系统自带的文件处理命令，无需加载全量文件到内存，性能比Python原生实现高1-2个数量级。

Linux/macOS 环境

使用sed命令原地修改：

import subprocess
import os

N = 50
file_path = "ahref.txt"
subprocess.run(["sed", "-i", f"1,{N}d", file_path], check=True)

Windows 环境

使用系统自带的more命令实现：

import subprocess
import os

N = 50
file_path = "ahref.txt"
temp_path = "temp_file.tmp"

# 跳过前N行写入临时文件
with open(temp_path, "w", encoding="utf-8") as f:
    subprocess.run(["more", f"+{N+1}", file_path], stdout=f, check=True)
# 替换原文件
os.replace(temp_path, file_path)

方案2：跨平台Python原生实现（无外部依赖，内存占用极低）

不需要读取整个文件到内存，仅使用固定大小的缓冲区完成原地修改，内存占用和文件总大小无关，适合无法调用系统命令的场景：

N = 50
BUFFER_SIZE = 1024 * 1024  # 缓冲区大小可根据磁盘性能调整，推荐1M-8M
file_path = "ahref.txt"

with open(file_path, "r+", encoding="utf-8") as f:
    # 跳过前N行
    for _ in range(N):
        if not f.readline():
            # 文件不足N行直接清空
            f.seek(0)
            f.truncate()
            exit()
    # 记录当前读取起始位置
    read_offset = f.tell()
    write_offset = 0

    # 用缓冲区将后续内容前移
    f.seek(read_offset)
    while True:
        buf = f.read(BUFFER_SIZE)
        if not buf:
            break
        current_read_pos = f.tell()
        f.seek(write_offset)
        f.write(buf)
        write_offset += len(buf)
        f.seek(current_read_pos)
    
    # 截断多余内容
    f.truncate(write_offset)