使用Python统计文件处理中被删除行数的最优方法是什么？

直接在单次行处理循环中统计删除行数是最优方案，比你提到的两种方法效率更高，也不需要额外的IO或内存开销。

核心优化逻辑 #

你现有代码的遍历逻辑走了两次全量行循环，还额外存储了所有待删除的行索引，完全可以合并为单次遍历：边判断行是否符合过滤规则，边决定是否写入输出文件，同时用计数器统计被过滤的行数即可。

同时还可以补上两个小优化：

• 行内字段判断时，只要发现一个空值/负数就直接终止当前行的后续字段判断，减少无效计算
• 用with上下文管理器管理文件句柄，不需要手动写close，避免异常时文件漏关的问题

优化后代码示例 #

import os, sys

inFile = sys.argv[1]
outFile = 'c:/example.txt'

delete_count = 0

if os.path.exists(inFile):
    # 用上下文管理器自动管理文件开闭
    with open(inFile, 'r') as inf, open(outFile, 'w', newline='') as outf:
        # 处理表头直接写入
        header = inf.readline()
        outf.write(header)
        
        # 逐行遍历处理，大文件也不会占满内存
        for line in inf:
            line = line.rstrip('\n')
            data = line.split("\t")
            to_delete = False
            # 检查每个字段
            for val in data:
                if val == '' or float(val) < 0:
                    to_delete = True
                    break # 命中规则直接跳出，不需要检查后续字段
            if to_delete:
                delete_count += 1
                continue
            # 符合条件的行写入输出
            outf.write(line + '\n')
            print(line)

print(f"本次处理共删除行数：{delete_count}")

现有方案对比 #

• 如果你不想改现有业务逻辑，直接取len(not_consider)就是删除行数，比统计处理前后文件行数差值的方案更优：不需要额外读两个文件做行数统计，节省IO开销，结果也完全准确
• 上面的单次遍历方案是最优解：时间复杂度从原来的O(2n)降到O(n)，不需要额外存储待删除索引列表，内存占用更低，适合处理GB级以上的大文件

内容的提问来源于stack exchange，提问作者Ellie