如何在Python中高效移除大文件指定行且不浪费系统资源？

在低配置搭载老旧机械硬盘的环境下，由于文件系统的顺序存储特性，无法直接删除文件中间的行而不重写后续内容——任何“删除中间行”的操作本质上都需要把有效内容重新写入。但我们可以通过优化IO和内存使用，大幅降低资源消耗，比你当前的一次性读入方案更可行。

核心优化思路 #

你的原方案用readlines()会一次性加载13GB文件到内存，这在低配置机器上必然会内存溢出，直接无法运行。下面是几种更高效的实现方式：

1. 逐行读写（最低内存占用）

逐行读取原文件，过滤掉含[Invalid]的行后写入临时文件，最后替换原文件。这种方式内存仅占用一行数据的大小，完全适配低RAM环境，且顺序读写对机械硬盘更友好。

import os

input_path = "badfile.txt"
temp_path = "badfile_temp.txt"

# 逐行读写过滤
with open(input_path, "r") as infile, open(temp_path, "w") as outfile:
    for line in infile:
        if "[Invalid]" not in line:
            outfile.write(line)

# 原子替换原文件（避免中途出错丢失数据）
os.replace(temp_path, input_path)

2. 批量读写（平衡内存与IO效率）

如果机器有少量剩余内存，可以批量读取多行再过滤，减少IO系统调用的次数，提升机械硬盘的读写效率：

import os

input_path = "badfile.txt"
temp_path = "badfile_temp.txt"
batch_size = 1000  # 可根据内存情况调整

with open(input_path, "r") as infile, open(temp_path, "w") as outfile:
    while True:
        lines = infile.readlines(batch_size)
        if not lines:
            break
        # 过滤无效行
        valid_lines = [line for line in lines if "[Invalid]" not in line]
        outfile.writelines(valid_lines)

os.replace(temp_path, input_path)

3. 利用系统命令（最优效率）

如果环境允许使用系统工具，直接用grep（Linux/macOS）或findstr（Windows）会比Python代码更快——这类工具是C语言实现，IO优化更极致，尤其适合机械硬盘：

Linux/macOS：

grep -v "\[Invalid\]" badfile.txt > badfile_temp.txt && mv badfile_temp.txt badfile.txt

Windows：

findstr /v "[Invalid]" badfile.txt > badfile_temp.txt && move /Y badfile_temp.txt badfile.txt

为什么truncate()不可行？ #

truncate()只能修改文件的末尾长度，无法移动文件中间的内容。如果要删除中间的行，需要把该行后面的所有内容往前偏移写入，这涉及大量随机IO，机械硬盘的随机读写速度极慢，开销比直接重写整个文件还大，完全不适合你的场景。

总结 #

• 低内存优先选逐行读写方案，内存占用极低且稳定；
• 追求效率且内存有富余，选批量读写；
• 允许使用系统命令的话，直接用系统工具是最优解，资源消耗最少。

内容的提问来源于stack exchange，提问作者CMK-SecretFactory