如何通过FastqGeneralIterator快速获取SeqRecord对象处理大FASTQ文件？

针对25GB的大FASTQ文件，你可以通过以下两种高效方式获取SeqRecord对象，既避免加载全文件到内存，又保证速度：

方法一：将FastqGeneralIterator的结果转换为SeqRecord #

FastqGeneralIterator返回的是(标题, 序列字符串, 质量字符串)的三元组，你可以手动将其封装为SeqRecord对象，代码如下：

from Bio.SeqIO.QualityIO import FastqGeneralIterator
from Bio.Seq import Seq
from Bio.SeqRecord import SeqRecord
from Bio.SeqUtils.QualityIO import FastqQuality
from itertools import islice

# 初始化迭代器
fastq_gen = FastqGeneralIterator(open('sequence.fastq'))
# 取前100条
seq_tuples = list(islice(fastq_gen, 100))

# 转换为SeqRecord列表
records = []
for title, seq_str, qual_str in seq_tuples:
    seq = Seq(seq_str)
    qual = FastqQuality(qual_str)
    record = SeqRecord(seq, id=title.split()[0], name=title, description=title, letter_annotations={"phred_quality": qual})
    records.append(record)

注意点：

• 标题通常包含ID和描述信息，用title.split()[0]提取核心ID，完整标题保留为name和description字段
• FastqQuality会把质量字符串转换为对应的phred数值列表，存入letter_annotations，和SeqIO.parse生成的结构完全一致

方法二：优化SeqIO.parse的读取方式 #

你之前用SeqIO.parse慢的原因是：那个生成器会遍历整个文件去筛选长度<100的序列，哪怕已经找到100条符合条件的也不会停止。如果只是需要取前100条SeqRecord，直接用islice截断迭代器即可，速度和FastqGeneralIterator接近：

from Bio import SeqIO
from itertools import islice

# 只取前100条，不会遍历全文件
records = list(islice(SeqIO.parse('sequence.fastq', 'fastq'), 100))

如果需要筛选特定条件（比如长度<100）同时只取前100条符合条件的序列，可以结合生成器和islice，避免遍历全文件：

from Bio import SeqIO
from itertools import islice

input_iter = SeqIO.parse('sequence.fastq', 'fastq')
# 先过滤，再取前100条符合条件的
filtered_iter = (rec for rec in input_iter if len(rec.seq) < 100)
records = list(islice(filtered_iter, 100))

这样迭代器会在找到100条符合条件的序列后立即停止，不会继续读取后续文件内容，速度会大幅提升。

内容的提问来源于stack exchange，提问作者mrgou