如何高效去除按日期排序FASTA文件的重复序列并保留更早序列

原代码性能瓶颈 #

• 直接将完整Seq对象存入去重集合，Seq对象哈希计算效率低，且长序列会占用极高内存
• 所有符合要求的序列先全部缓存到内存列表再统一写出，内存占用随文件体积线性增长，处理大文件时极易卡顿甚至内存溢出

优化方案 #

Python代码优化版 #

核心优化点：

• 用固定长度的序列哈希值替代完整序列存入去重集合，大幅降低内存占用、提升重复判断速度
• 采用流式读写逻辑，读取到未重复的序列直接写入输出文件，无需缓存全量结果

from Bio import SeqIO
import hashlib
import time

start = time.time()
seen = set()

# 提前打开输出文件句柄，流式写入
with open("OUTPUT-FILE.fasta", "w") as output_handle:
    for record in SeqIO.parse("b4r2.fasta", "fasta"):
        # 把序列转为字符串后计算SHA1哈希，也可替换为MD5，速度更快但碰撞概率略高
        seq_str = str(record.seq).upper()  # 加upper是忽略大小写差异，不需要可以删掉
        seq_hash = hashlib.sha1(seq_str.encode("utf-8")).hexdigest()
        if seq_hash not in seen:
            seen.add(seq_hash)
            SeqIO.write(record, output_handle, "fasta")

end = time.time()
print(f"Run time is {(end- start)/60}")

如果你的序列非常长、且序列总量极多，还可以进一步把哈希值存为整数而非十六进制字符串，判断速度会更快。

命令行极速方案（超大规模文件推荐） #

可以直接使用预编译的高性能生信工具seqkit处理，速度比Python实现快3~10倍，内存占用更低：

seqkit rmdup -s --keep-first b4r2.fasta -o OUTPUT-FILE.fasta

参数说明：

• -s：按序列内容去重
• --keep-first：保留第一个出现的重复序列，符合你按日期排序后保留最早版本的需求

内容的提问来源于stack exchange，提问作者khashayar ehteshami