如何基于文件-模式关联列表批量移除非对应文件中的匹配行

我来帮你搞定这个精准的清理需求！核心思路是先建立文件名-条码模式的映射关系，然后对每个文件，跳过它对应的豁免条码，移除其他所有条码匹配的行（还要注意FASTA格式的行对关系，避免留下孤立的标题行）。

步骤1：构建文件名与条码的映射字典 #

首先把你的文件和对应条码整理成字典，这样后续能快速查找到每个条码对应的“豁免文件”：

import glob

# 获取所有目标fna文件并排序
file_list = sorted(glob.glob("*undex*fna"))

# 你的条码列表（与排序后的文件顺序一一对应）
barcode_list = [
    "CACTCGACTCTCGCGT",
    "ACACTAGATCGCGTGT",
    "ACACATCTCGTGAGAG",
    "CACATATCAGAGTGCG",
    "CATATATATCAGCTGT",
    "ACACACAGACTGTGAG",
    "ACAGTCGAGCGCTGCG",
    "CACGCACACACGCGCG"
]

# 构建双向映射，方便后续快速查找
barcode_to_exempt_file = {barcode: filename for filename, barcode in zip(file_list, barcode_list)}
file_to_exempt_barcode = {filename: barcode for filename, barcode in zip(file_list, barcode_list)}

步骤2：批量处理每个FASTA文件 #

接下来遍历每个fna文件，逐行处理（避免加载大文件占用过多内存），对于每一行序列，检查是否包含需要移除的条码规则（排除自身对应的条码），同时要保证标题行和序列行成对保留：

import tempfile
import os

for current_file in file_list:
    # 获取当前文件对应的豁免条码，跳过这个条码的检查
    exempt_barcode = file_to_exempt_barcode[current_file]
    # 用临时文件存储处理后的内容，避免直接覆盖原文件导致数据丢失
    with tempfile.NamedTemporaryFile(mode='w', delete=False, encoding='utf-8') as temp_file:
        with open(current_file, 'r', encoding='utf-8') as f:
            pending_title = None
            for line in f:
                line = line.strip()
                if not line:
                    continue
                # 识别FASTA标题行
                if line.startswith('>'):
                    # 如果之前有未处理的标题行，说明上一个序列被移除了，直接丢弃
                    if pending_title is not None:
                        pending_title = line
                    else:
                        pending_title = line
                else:
                    # 序列行：检查是否包含需要移除的条码（除了豁免的）
                    need_remove = False
                    for barcode in barcode_list:
                        if barcode == exempt_barcode:
                            continue
                        if barcode in line:
                            need_remove = True
                            break
                    # 如果不需要移除，就把标题行和序列行都写入临时文件
                    if not need_remove:
                        temp_file.write(f"{pending_title}\n")
                        temp_file.write(f"{line}\n")
                    # 重置标题行标记
                    pending_title = None
    # 用临时文件替换原文件（建议先备份原文件，比如加.bak后缀）
    # 可选备份操作：os.rename(current_file, f"{current_file}.bak")
    os.replace(temp_file.name, current_file)

关键细节说明 #

• FASTA格式适配：因为FASTA是标题行+序列行成对出现的，我们特意跟踪标题行，只有当对应的序列行不需要被移除时，才把两行一起写入，避免留下无序列的孤立标题行。
• 内存友好：采用逐行读取的方式，即使文件有上万行也不会占用太多内存。
• 数据安全：先用临时文件存储处理后的内容，再替换原文件，避免中途出错导致原文件损坏；也可以先给原文件加.bak后缀做备份。
• 规则精准性：对每个序列行，检查所有非当前文件豁免的条码，只要匹配到任意一个就移除该序列，完全符合你的需求规则。

内容的提问来源于stack exchange，提问作者Paillou