使用Python批量删除数据文件中指定标识的整行

看起来你需要批量清理input.dat里包含特定标识的条目，我来帮你完善这个Python脚本，确保它能准确删除包含41640和42330的整行数据：

完整解决方案代码 #

# 替换成你的文件实际路径（如果文件在当前目录，保持"./"即可）
file_path = "./"
input_filename = "input.dat"
output_filename = "00-new.dat"

# 定义需要过滤的标识集合，查找效率比列表更高
blocked_ids = {'41640', '42330'}

# 打开原文件读取，新文件写入
with open(file_path + input_filename, "r") as input_file:
    with open(output_filename, "w") as output_file:
        # 逐行处理，避免占用过多内存（适合大文件）
        for line in input_file:
            # 去除行首尾的空白字符（包括换行符）
            cleaned_line = line.strip()
            # 跳过空行（如果不需要保留空行，可保留这部分；要保留的话就删掉）
            if not cleaned_line:
                continue
            # 分割行内容，取第一个字段作为标识
            first_field = cleaned_line.split()[0]
            # 如果标识不在过滤列表里，就写入新文件
            if first_field not in blocked_ids:
                # 写入原行（保留原格式和换行符）
                output_file.write(line)

关键细节说明 #

• 高效查找：用集合blocked_ids存储要过滤的标识，集合的成员检查是O(1)时间复杂度，比列表更适合处理大量数据。
• 内存友好：逐行读取和写入，不会一次性把整个大文件加载到内存，适合处理超大数据集。
• 格式保留：直接写入原行内容，确保输出文件和原文件的换行、空格格式完全一致。
• 空行处理：代码里加入了跳过空行的逻辑，如果你的文件需要保留空行，只需删除if not cleaned_line: continue这两行即可。

特殊情况处理（如果你的数据是连续无换行的） #

如果你的input.dat里所有数据都在同一行（比如示例里的格式），每个条目是6个字段，那需要按字段分组处理，代码可以调整成这样：

file_path = "./"
input_filename = "input.dat"
output_filename = "00-new.dat"

blocked_ids = {'41640', '42330'}
fields_per_entry = 6  # 每个条目包含6个字段

with open(file_path + input_filename, "r") as input_file:
    # 读取所有内容并分割成字段列表
    all_fields = input_file.read().split()
    # 按每个条目6个字段分组
    entries = [all_fields[i:i+fields_per_entry] for i in range(0, len(all_fields), fields_per_entry)]

with open(output_filename, "w") as output_file:
    for entry in entries:
        if entry[0] not in blocked_ids:
            # 把字段用空格连接，加上换行符写入
            output_file.write(' '.join(entry) + '\n')

内容的提问来源于stack exchange，提问作者Azam