Biopython中SeqIO.parse嵌套遍历仅单次生效？如何优化大文件内存占用？

问题现象 #

使用Biopython编写嵌套遍历两个FASTA文件的代码时，第二个文件的迭代器仅在第一次外层循环时被完整遍历，后续外层循环无法再获取该文件的序列。相关代码及输出如下：

原代码 #

# Import necessary modules from Biopython
from Bio import SeqIO
from Bio.Seq import Seq

# Define the filenames of the FASTA files
fasta_file1 = "testfasta1.fasta"
fasta_file2 = "testfasta2.fasta"

# Parse the sequences in the FASTA files
fasta_seqs1 = SeqIO.parse(fasta_file1, "fasta")
fasta_seqs2 = SeqIO.parse(fasta_file2, "fasta")

#Loop thorugh the files
for fasta_seq1 in fasta_seqs1:
    print(fasta_seq1.id)
    for fasta_seq2 in fasta_seqs2:
        print(fasta_seq1.id + " " + fasta_seq2.id)

运行输出 #

Seq1
Seq1 Seq5
Seq1 Seq6
Seq1 Seq7
Seq1 Seq8
Seq2
Seq3
Seq4

同时要求解决方案无需将整个大文件加载到内存。

测试用FASTA文件示例：

testfasta1.fasta

>Seq1
AAAAAAA
>Seq2
CCCCCCC
>Seq3
GGGGGGG
>Seq4
TTTTTT

testfasta2.fasta

>Seq5
AAAAAAA
>Seq6
CCCCCCC
>Seq7
GGGGGGG
>Seq8
TTTTTT

问题原因 #

SeqIO.parse()返回的是迭代器对象，这类对象的核心特性是只能被遍历一次。当第一次外层循环完成对fasta_seqs2的遍历后，迭代器已被耗尽，后续循环再访问时不会返回任何元素。

解决方案 #

要实现嵌套遍历且不加载整个大文件到内存，只需在每次外层循环时重新生成第二个文件的迭代器。这样每次外层循环都会重新读取第二个文件的内容，且始终以迭代方式逐行读取，不会一次性加载全部内容到内存。

修改后的代码 #

from Bio import SeqIO

# 定义文件名
fasta_file1 = "testfasta1.fasta"
fasta_file2 = "testfasta2.fasta"

# 遍历第一个文件的序列
for fasta_seq1 in SeqIO.parse(fasta_file1, "fasta"):
    print(fasta_seq1.id)
    # 每次外层循环都重新解析第二个文件，生成新的迭代器
    for fasta_seq2 in SeqIO.parse(fasta_file2, "fasta"):
        print(f"{fasta_seq1.id} {fasta_seq2.id}")

代码说明 #

• 将SeqIO.parse(fasta_file2, "fasta")移至外层循环内部，每次循环都会重新打开并解析第二个文件，生成全新的迭代器，彻底避免迭代器耗尽的问题。
• SeqIO.parse()本身采用逐行读取的方式处理文件，不会将整个FASTA文件加载到内存，完全适配大文件处理场景。

内容的提问来源于stack exchange，提问作者je2018