如何在内存不足时从超大文件中删除指定的多行文本块

API 探路者

2026-9-27

10GB大文件删除指定多行块最简方案

核心思路

因为待删除的块仅10MB，可完全加载到内存，采用滑动窗口逐行匹配的方案处理大文件，全程不需要将10GB文件全部加载到内存，内存占用最高仅为待删除块的大小。

实现步骤

第一步：读取chunk.txt所有行存入列表，记录待删除块的总行数N
第二步：逐行读取big.txt，维护一个最大长度为N的滑动窗口：
- 每读一行就加入窗口末尾
- 窗口长度等于N时，比对窗口内容和待删除块是否完全一致
  - 匹配成功：清空窗口，跳过这N行不输出
  - 匹配失败：将窗口第一行写入结果文件，弹出窗口第一行后继续读取下一行
第三步：大文件读取完成后，将窗口内剩余的所有行写入结果文件

代码实现（Python，无第三方依赖）

# 读取待删除块内容
with open("chunk.txt", "r", encoding="utf-8") as f:
    chunk_lines = f.readlines()
chunk_len = len(chunk_lines)
window = []
# 可选优化：确认块仅出现一次时，匹配后直接输出后续内容无需再比对
found = False

with open("big.txt", "r", encoding="utf-8") as in_f, open("result.txt", "w", encoding="utf-8") as out_f:
    for line in in_f:
        if found:
            out_f.write(line)
            continue
        window.append(line)
        if len(window) == chunk_len:
            if window == chunk_lines:
                found = True
                window.clear()
            else:
                out_f.write(window.pop(0))
    # 写入最后剩余的窗口内容
    for line in window:
        out_f.write(line)